当前位置: 首页 > ds >正文

6.IK分词器拓展词库

比如一些行业专业词汇、简单无意义词(例如:的、得、地、是等)、网络流行词、后来形成的词、再或者一些禁忌词(比如:领导人的名字、黄赌毒犯罪等词要排除的)

在es的插件目录下查找配置文件:

 找到IKAnalyzer.cfg.xml文件并进行修改:

 

向stopword.dic文件中添加如下词:

以上修改完成后,需要重启ES。

注意:创建ext.dic文件时候,注意文件的编码格式,最好拷贝 IKAnalyzer.cfg.xml文件进行修改。

使用file命令查看:

POST /_analyze
{
  "text":"想白嫖吗?我是比较奥利给的",
  "analyzer": "ik_smart"
}

{
  "tokens" : [
    {
      "token" : "想",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "CN_CHAR",
      "position" : 0
    },
    {
      "token" : "白嫖",
      "start_offset" : 1,
      "end_offset" : 3,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "吗",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "CN_CHAR",
      "position" : 2
    },
    {
      "token" : "我",
      "start_offset" : 5,
      "end_offset" : 6,
      "type" : "CN_CHAR",
      "position" : 3
    },
    {
      "token" : "是",
      "start_offset" : 6,
      "end_offset" : 7,
      "type" : "CN_CHAR",
      "position" : 4
    },
    {
      "token" : "比较",
      "start_offset" : 7,
      "end_offset" : 9,
      "type" : "CN_WORD",
      "position" : 5
    },
    {
      "token" : "奥利给",
      "start_offset" : 9,
      "end_offset" : 12,
      "type" : "CN_WORD",
      "position" : 6
    }
  ]
}
 

http://www.xdnf.cn/news/14684.html

相关文章:

  • AI智能体应用市场趋势分析
  • WinForms视频播放开发实战指南
  • 【数据库】在线体验KingbaseES平台,零门槛学习,并快速体验Oracle增改查全基础功能
  • python web开发-Flask 重定向与URL生成完全指南
  • 代码随想录打卡第三十天 动态规划
  • 论文笔记 <交通灯> IntelliLight:一种用于智能交通灯控制的强化学习方法
  • 性能测试|数据说话!在SimForge平台上用OpenRadioss进行汽车碰撞仿真,究竟多省时?
  • 物联网传输网关、RTU、DTU及SCADA系统技术解析
  • Vue-8-前端框架Vue之应用基础响应式数据和计算属性
  • React 中实现获取未来5天的天气预报
  • FPGA基础 -- Verilog语言要素之标识符
  • 同态加密类型详解:部分同态加密,全同态加密
  • 在 CEP插件界面 打开网页 简单方法
  • 使用 Tailwind CSS 进行样式设计,并与 Next.js 和 TypeScript 无缝集成
  • Vue-Router笔记
  • Linux基本指令
  • 【计算机常识:Windows】--CMD命令详解
  • 我们感知的世界,只是冰山一角?
  • 输入数量未知如何设置输入
  • 安装 WSL2 与设置​
  • 函数重载与函数模板
  • 电阻篇---上拉电阻
  • JavaScript 精度问题深度解析
  • LeetCode--30.串联所有单词的子串
  • LLM4rec-rednote
  • YOLOv4 训练与推理流程详解
  • 105. Java 继承 - 静态方法的隐藏
  • 工作中使用到的单词(软件开发)_第四版
  • 修改了xml布局代码,页面使用了databinding,此时不开启kapt也可以吗
  • firewalld防火墙(一):基础概念、配置详解与实战应用