索引
分词
分词是将一个句子或短语分解成更小的语言单元的过程。它是索引文档时至关重要的一个步骤。
分词是将一个句子或短语分解成更小的语言单元（称为词元）的行为。这是 Meilisearch 引擎中文档索引的第一步，也是影响搜索结果质量的关键因素。 将句子分解成更小的块需要理解一个词的结束和另一个词的开始，这使得分词成为一个高度复杂且依赖语言的任务。Meilisearch 解决此问题的方法是模块化分词器，它根据检测到的语言遵循不同的过程，称为管道。 这使得 Meilisearch 能够零设置地在多种不同语言中运行。
深入探究：Meilisearch 分词器
当您向 Meilisearch 索引添加文档时，分词过程由一个名为分词器的抽象接口处理。分词器负责按书写系统（例如，拉丁字母、汉字）分割每个字段。然后它将相应的管道应用于每个文档字段的每个部分。 我们可以将分词过程分解如下：- 抓取文档，按脚本分割每个字段
- 逐部分回溯文档，运行相应的分词管道（如果存在）