登录
  • 欢迎访问悠扬的技术博客,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站😉

Lostash同步Mysql数据到Elasticsearch(四)通过kibana辅助查看同步情况

kibana 悠扬 519次浏览 已收录 0个评论

kibana常用命令查询索引

在数据同步时,我们需要使用一些常用查询,来确认脚本及索引情况,下面的常用命令可以帮到大家

1.查询几条数据来看看数据同步情况


GET idx_znyg_xxx/_search
{
  "size":10,
  "query": {
    "match_all": {}
  }
}

2.索引查询相关


GET idx_znyw_data_gkb_logstash/_mapping   //查询索引mapping结构
GET /idx_znyg_datanbqseries/_count  //统计数量
GET _template/idx_znyg_datanbqseries  //获取模板内容
GET /idx_znyg_sysinfo/_settings  //查询索引配置相关
GET _cat/indices?pretty //获取所有索引详细情况

3.关闭打开索引


POST /idx_znyg_datanbqseries/_close
POST /idx_znyg_datanbqseries/_open

4.更新索引settings(需要先关闭索引)


PUT /idx_znyg_datanbqseries/_settings
{

	"index":{
	 	"number_of_replicas": 2,
		"max_result_window": 65536,
		"max_inner_result_window": 10000,
		"translog.durability": "request",
		"translog.sync_interval": "3s",
		"auto_expand_replicas": false,
		"analysis.analyzer.default.type": "ik_max_word",
		"analysis.search_analyzer.default.type": "ik_smart",
		"shard.check_on_startup": false,
		"codec": "default",
		"store.type": "niofs"
	}
}

5.删除相关操作


DELETE /idx_znyw_data_gkb_logstash
  //删除索引
DELETE /_template/idx_znyg_datacn //删除模板

6.创建更新模板操作


请查看Lostash同步数据(三)Elasticsearch相关处理

7.Couldn’t find any filter plugin named ‘else’.

不知是什么原因引起的,在过滤器中使用if else,找不到else相关插件,暂未找到原因,使用if取反暂时解决。

8.大数据量ES内部数据迁移

创建新索引,讲数据拷贝至新索引,删除旧索引,增加分片数后,在把数据拷贝回来,使用ES内部迁移速度飞快。

POST _reindex?slices=5&refresh
{
  "source": {
    "index": "idx_znyg_datanbqseries_new",
    "size": 10000
  },
  "dest": {
    "index": "idx_znyg_datanbqseries"
    
  }
}

版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明Lostash同步Mysql数据到Elasticsearch(四)通过kibana辅助查看同步情况
喜欢 (0)
支付宝[]
分享 (0)
悠扬
关于作者:
10年以上工作经验,从事2年微服务架构搭建工作,有大数据处理相关工作经验,使用spring全家桶包括:Spring,SpringBoot,SpringCloud 数据层组件服务使用SpringDataJpa,Mybatis以及其他第三方组件Sharding-JDBC,Sharding-Proxy分库分表。熟悉微服务,服务降级,限流,分流,做过项目源码修改,有cat,apollo,nacos使用经验,有Lostash,Elasticsearch,kibana,mysqlMHA生产实践经验,使用开源代码Apache Sarding项目,修改源码支持mysql分库分表使用年月日小时分库分表,docker做集群服务,Jekins做项目发布,GitLab做项目管理,使用docker容器部署,熟悉消息队列RabbitMQ,Kafka,ActiveMQ。RuoYi-Vue-Atomikos项目开源加入生态圈组件,项目支持分布式事务,界面添加多数据源,数据源动态配置,切面切换,多数据源事务支持,支持区域数据源配置,用于区域数据切分,数据层次分库。项目地址:https://gitee.com/zsiyang/ruoyi-vue-atomikos
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址