返回文章

祝大家新年快乐!2021 年带来了 Meilisearch 的新版本。这有多好呢?
在此版本中,我们修复了一些错误,并提高了将文档添加到 Meilisearch 时的默认有效载荷大小。然而,最重要的亮点是新分词器。
我们的主要目标是提供最佳搜索体验,而一个好的分词器对于获得高质量的搜索结果至关重要。我们为我们的核心团队和贡献者感到非常自豪——他们努力工作,并取得了成果!让我们仔细看看。
新分词器
分词器有点像 Meilisearch 的大脑:它理解语言的工作方式,并相应地调整文档在 Meilisearch 中的存储方式。没有分词器,我们就无法知道一个单词的开始和结束位置。我们也无法理解用户在执行搜索时所要求的内容。
深入了解
分词器的作用是根据语言的特性,查找并检索字符串中的所有单词。每种语言都需要独特的处理过程。例如:
- 在拉丁语系语言中,单词通常用空格分隔。
- 在中文中,分词则更为复杂。
Meilisearch 的新分词器会逐个字段地确定该字段最可能的语言,并为每种语言运行不同的处理流程。由于分词器是模块化的,因此添加新语言比以前容易得多。
新分词器对于拉丁字母(例如英语)可能感觉不到差异,但对于我们的中文用户来说,它应该能显著改善体验。
Meilisearch 在中文方面的演变
以前,分词器将一个汉字(中文字符)视为一个单词。新的分词器:
- 识别由一个或多个字符组成的中文词语。
- 更准确地评估匹配查询词之间的距离(参见:邻近规则)。
- 积极提高搜索相关性.
- 现在,单个搜索查询可以在繁体中文和简体中文中获得结果。
增加最大有效载荷大小
在 Meilisearch 的先前版本中,文档有效载荷的默认限制为 10MB。我们将此限制增加到 100MB。当然,您仍然可以更改此限制。
$ ./meilisearch --http-payload-size-limit=209715200 # Change limit to 200MB
错误修复
- Meilisearch 现在可以正确地将属性添加到
searchableAttributes
,即使它们先被添加到attributesForFaceting
。 - 现在,属性将按照预期按出现顺序添加到
searchableAttributes
中。 - 当未设置要显示的属性时,Meilisearch **返回一个空对象** `` 而不是错误。
其他变更
- 我们对测试套件进行了一些修改。
- 转储测试现在可以并行运行.
- 大部分依赖项已更新。
有关具体更改和提交列表,请查看发布说明。
贡献
我们很幸运拥有这样一个给予大力支持的社区。
特别感谢:
- @piaoger 进行了新分词器的 Beta 测试。
- @woshilapin 改进了 CI。
- @sanders41 增加了默认有效载荷大小。
我们还要感谢所有贡献者,他们帮助维护了使 Meilisearch 更易于使用的工具包。
您的参与对我们意义重大!💜
💬 参与其中!
我们总是渴望听到用户和贡献者的建议!请通过您喜欢的方式与我们交流:
🚀 编程愉快!