Hugging Face 利用 Meilisearch 促进 AI 可访问性

Hugging Face 总部设在纽约和巴黎，是一家开源机器学习技术提供商，允许用户使用 Hugging Face 开源库和 Hub 训练、部署和共享 AI 模型。

通过与 Meilisearch Cloud 合作，Hugging Face 积极履行其推动人工智能民主化的愿景承诺。

“如今，Hugging Face 使用 Meilisearch 来实现超过 30 万个 AI 模型、数据集和演示的可发现性。这对于 AI 民主化非常重要，因为如果知识就在那里，但你无法获取，那有什么意义呢？”—— Mishig Davaadorj，Hugging Face 软件工程师

挑战

在其平台上，Hugging Face 允许用户上传他们的 AI 模型、数据集和演示。Hugging Face Hub 是一个用于共享和搜索机器学习工件的平台，拥有一个活跃的用户社区，他们不断地与 Hub 互动——因此，可发现性问题成为了焦点。

Hugging Face Hub 托管着超过 22 万个 AI 模型，涵盖各种机器学习任务，所有模型都整齐地存储在仓库中。这些模型仓库旨在尽可能简化模型的探索和利用。Hugging Face 仓库中的每个 AI 模型都附带一个模型卡，这是一个包含有价值元数据的项目文件，在增强可发现性、可复现性和共享性方面发挥着关键作用。模型卡还提供了关于 AI 模型偏见和限制、模型描述和训练指南的重要信息，并作为用户在 Hub 上查找模型或上传自己的模型的综合指南。

在引入 Meilisearch 之前，Hugging Face 依赖于简单的过滤和关键词搜索解决方案。然而，事实证明，对更灵活、更容错的全文本搜索解决方案的需求日益增长。这个解决方案需要确保每个搜索查询都具有更高的默认相关性，并利用存储在模型卡中的额外属性和元数据。

Hugging Face 选择 Meilisearch Cloud 的原因

在将其集成到其机器学习模型仓库之前，Hugging Face 已经将 Meilisearch 的免费开源解决方案用作其开源库文档（包括 transformers 和 diffusers）的搜索引擎。这份文档大约有 500 页，已使用了超过一年。由于团队在实施和操作 Meilisearch 方面已经积累了积极的经验，当模型卡搜索中需要增强可发现性时，就不需要额外的测试或概念验证了。

1. 排名规则的可定制性

在评估过程中，Hugging Face 团队还考虑了 Mongo Atlas Search。然而，他们对可用于排名的定制功能不满意。为了增强模型卡的可发现性，考虑了几个因素，例如项目名称、描述以及每张卡的点赞或下载数量。Meilisearch 在适应这些搜索条件方面表现出更大的灵活性和适应性。

2. 为方便使用而过渡到 Meilisearch Cloud

Hugging Face 团队已成功在其文档中实施了 Meilisearch，并顺利将 Meilisearch Cloud 整合到其模型卡仓库中，从而受益于开箱即用的相关性。

3. 支持质量和基础设施外包

Hugging Face 团队选择 Meilisearch Cloud 的部分原因是其专业的支持能力。鉴于在仓库中实现高度相关的搜索结果对 Hugging Face 至关重要，因此选择云版本还受到将基础设施委托给 Meilisearch Cloud 专家专业知识的影响。基础设施外包使 Hugging Face 团队能够提高开发速度。

实施

由于 Meilisearch 已经为 Hugging Face 文档实现，一旦排名和内部规则到位，搜索解决方案就可以顺利扩展到其他用例。

如今，Meilisearch 引擎为 Hugging Face 仓库中 22 万张模型卡、3.8 万个数据集和 6 万个演示的发现提供支持。关键词过滤机制已在 Hugging Face 主页上实现，供熟悉特定模型名称的用户使用。

然而，随着 Meilisearch 的实施，用户还可以选择执行全文搜索。此搜索功能不仅作用于模型名称和 ID，还包括模型卡的全部内容。

额外添加了“尝试全文搜索”按钮，以尽量减少搜索行为的变化，用户可以自由选择最符合其偏好的搜索体验。

愿景

随着人工智能的不断发展，Hugging Face 预计搜索行为和人们寻找所需项目的方法将发生转变。Hugging Face 期待将语义搜索整合到其文档和模型卡搜索中。目前，该平台正在积极测试 Meilisearch [VectorDB](/blog/langchain-semantic-search-tutorial/ 作为潜在解决方案之一。

Hugging Face 还希望获得更详细的使用洞察，包括有关用户日常搜索模式以及特定模型卡项目随时间获得的活动水平的信息。