kettle从入门到精通 第九十六课 ETL之kettle Elasticsearch 增删改查彻底掌握

场景：

 群里有小伙伴咨询kettle从Elasticsearch中抽取数据，群里老师们纷纷响应，vip小伙伴是不是有中受宠若惊的感觉。

今天我们使用kettle通过es的原生rest接口来进行操作es，开整。

前提：本篇文章基于elasticsearch:7.17.9版本进行测试，在 Elasticsearch 7.x 及以上版本中，_doc 不能自定义。在 Elasticsearch 6.x 及之前的版本中，一个索引里可以有多个文档类型（类似于 MySQL 中一个数据库里有多个表），文档类型可以自定义。

1、创建es索引

创建一个索引，名字为xiaojingang，如下所示

PUT http://127.0.0.1:9200/xiaojingang
{"settings": {"number_of_shards": 1,"number_of_replicas": 0}
}

 2、删除es索引

删除es索引xiaojingang，如下图所示：

DELETE http://127.0.0.1:9200/xiaojingang

 3、写入文档

POST http://localhost:9200/xiaojingang/_doc/1
{"name": "Java小金刚","content": "一个专门用来学习和交流kettle的公众号"
}

4、查询文档

GET http://localhost:9200/xiaojingang/_search
{"query": {"match": {"name": "小金刚"}}
}

5、更新文档 

POST http://localhost:9200/xiaojingang/_update/1
{"doc": {"name": "Java大金刚","content": "这是更新后的示例文章内容。"}
}

 重新读取

 6、删除文档

DELETE http://localhost:9200/xiaojingang/_doc/1

 重新读取

 7、分页读取，使用 Scroll API

Scroll API 适用于需要处理大量数据的场景，它通过创建一个快照来避免每次请求都进行排序和合并操作。

 请求示例：

# 初始化 scroll 请求
curl -X GET "localhost:9200/my_index/_search?scroll=1m" -H 'Content-Type: application/json' -d'
{"query": {"match_all": {}},"size": 10
}
'

上述请求中，scroll=1m 表示这个快照的有效期为 1 分钟，size=10 表示每次返回 10 个文档。响应中会包含一个 _scroll_id，用于后续的滚动请求。

# 后续的滚动请求
curl -X GET "localhost:9200/_search/scroll" -H 'Content-Type: application/json' -d'
{"scroll": "1m","scroll_id": "your_scroll_id"
}
'