登录
  • 欢迎访问悠扬的技术博客,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站😉

Lostash同步Mysql数据到Elasticsearch(三)Elasticsearch模板与索引设置

Logstash 悠扬 747次浏览 已收录 3个评论

logstash数据同步ES相关

同步数据时,Elasticsearch配合脚本的相关处理设置

1.模板创建更新

在kibana中执行,或者直接给ES发送请求,你懂得,不懂得百度下ES创建template
PUT /_template/test-xxx
{
    "template": "idx_znyw_data_gkb_logstash",
    "order": 1,
    "settings": {
        "number_of_shards": 1
    },
    "mappings": {
        "dynamic": "true",
        "dynamic_date_formats": [
            "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'",
            "yyyy-MM-dd'T'HH:mm:ss.SSS+0800",
            "yyyy-MM-dd'T'HH:mm:ss'Z'",
            "yyyy-MM-dd'T'HH:mm:ss+0800",
            "yyyy-MM-dd'T'HH:mm:ss",
            "yyyy-MM-dd HH:mm:ss",
            "yyyy-MM-dd"
        ],
        "properties": {
            "@timestamp": {
                "type": "date"
            },
            "@version": {
                "type": "integer"
            },
            "_class": {
                "type": "text",
                "fields": {
                    "keyword": {
                        "type": "keyword",
                        "ignore_above": 256
                    }
                }
            },
            "id": {
                "type": "long"
            },
            "location": {
                "properties": {
                    "lat": {
                        "type": "double"
                    },
                    "lon": {
                        "type": "double"
                    }
                }
            },
            "latitude": {
                "type": "double"
            },
            "longitude": {
                "type": "double"
            },
            "ipAddr": {
                "type": "ip",
                "index": true,
                "store": false
            },
            "setupTime": {
                "type": "date",
                "index": true,
                "store": false,
                "format": "date",
                "ignore_malformed": false
            },

            "updateDate": {
                "type": "date",
                "index": true,
                "store": false,
                "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd'T'HH:mm:ss||yyyy-MM-dd'T'HH:mm:ss+0800||yyyy-MM-dd'T'HH:mm:ss'Z'||yyyy-MM-dd'T'HH:mm:ss.SSS+0800||yyyy-MM-dd'T'HH:mm:ss.SSS'Z'||yyyy-MM-dd||epoch_millis",
                "ignore_malformed": false
            },
            "delFlag": {
                "type": "integer"
            }
        }
    }
}

2.特殊版本类型logstash脚本处理

上面红色部分的需要特殊处理,下面给出特殊操作的logstash脚本处理方法,在filter中特殊处理,这里是直接上干货,其他的概念性的问题,百度一下。

filter {

    #坐标 
    mutate {
         add_field => ["[location][lon]", "%{[longitude]}"]
         add_field => ["[location][lat]", "%{[latitude]}"]

     }

   
#时间
ruby {
        code => "
        date_person = event.get('setupTime').time.localtime + 0*60*60
        event.set('setupTime', date_person.strftime('%Y-%m-%d'))
        "
    } 
ruby {
        code => "
event.set('createDate', event.get('createDate').time.localtime + 0*60*60)"
    }

}

3.索引更新设置

#在kibana中执行,执行前要关闭索引,但是注意,这里不能修改分片数,分片数只能在索引创建时指定,那数据量超量时,分片数不够用怎么整呢,看标题4
//先把索引关掉
POST /idx_xxx_sysinfo/_close
POST /idx_xxx_sysinfo/_open
//更新索引
PUT /idx_xxx_sysinfo/_settings
{

	"index":{
	 	"number_of_replicas": 2,
		"max_result_window": 65536,
		"max_inner_result_window": 10000,
		"translog.durability": "request",
		"translog.sync_interval": "3s",
		"auto_expand_replicas": false,
		"analysis.analyzer.default.type": "ik_max_word",
		"analysis.search_analyzer.default.type": "ik_smart",
		"shard.check_on_startup": false,
		"codec": "default",
		"store.type": "niofs"
	}
}

4.分片数量不够时(ES内部内部数据迁移策略)

ES内部内部数据迁移策略

使用场景:

1、当你的数据量过大,而你的索引最初创建的分片数量不足,导致数据入库较慢的情况,此时需要扩大分片的数量,此时可以尝试使用Reindex。

2、当数据的mapping需要修改,但是大量的数据已经导入到索引中了,重新导入数据到新的索引太耗时;但是在ES中,一个字段的mapping在定义并且导入数据之后是不能再修改的,

所以这种情况下也可以考虑尝试使用Reindex。

POST _reindex?slices=5&refresh
{
  "source": {
    "index": "idx_znyg_datanbqseries_new",
    "size": 10000  //批量执行数
  },
  "dest": {
    "index": "idx_znyg_datanbqseries",
  //version_type"version_type": "internal"或者不设置,则Elasticsearch强制性的将文档转储到目标中,覆盖具有相同类型和ID的任何内容:
    "version_type": "internal"
  }
}

slices大小设置注意事项:
1)slices大小的设置可以手动指定,或者设置slices设置为auto,auto的含义是:针对单索引,slices大小=分片数;针对多索引,slices=分片的最小值。
2)当slices的数量等于索引中的分片数量时,查询性能最高效。slices大小大于分片数,非但不会提升效率,反而会增加开销。
3)如果这个slices数字很大(例如500),建议选择一个较低的数字,因为过大的slices 会影响性能。

效果
实践证明,比默认设置reindex速度能提升10倍+。

创建索引


PUT /idx_znyg_datanbqseries_new?pretty
{
  "settings": {
  	"index.number_of_shards": 12,
  	"index.number_of_replicas": 1,
  	"index.max_result_window": 65536,
  	"index.max_inner_result_window": 10000,
  	"index.translog.durability": "request",
  	"index.translog.sync_interval": "3s",
  	"index.auto_expand_replicas": false,
  	"index.analysis.analyzer.default.type": "ik_smart",
  	"index.analysis.search_analyzer.default.type": "ik_smart",
  	"index.shard.check_on_startup": false,
  	"index.codec": "default",
  	"index.store.type": "niofs"
  }, 
   "mappings": {
  }

}

5.logstash大数据量脚本加速

脚本执行SQL分析,人为加速处理设置。

如下SQL为logstash数据同步执行脚本,分析设置后,做如下处理,OFFSET -500获取上次执行完数据,拿最小ID保存至ID文件内,关闭服务重启启动,此时速度飞起,当OFFSET 数量过500万时,每次查询30S+,所以速度就下降了。
SELECT * FROM (select del_flag as delFlag from znyw_data_nbq_series WHERE id>= 1347422522840252418) AS `t1` LIMIT 500 OFFSET 500

6.logstash特性(重要)

有时候发现数据库数量和索引数量不匹配,需要重新同步,请按照如下操作处理:
1.停止服务
2.删除索引更新数据文件
3.重启启动服务查看日志
这样操作是因为,增量id更新,没有读文件,这样操作最保险,还有就是数据不一致不要慌,查看任务执行日志,有些脚本过滤插件有问题的也不会更新。

 


版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明Lostash同步Mysql数据到Elasticsearch(三)Elasticsearch模板与索引设置
喜欢 (1)
支付宝[]
分享 (0)
悠扬
关于作者:
10年以上工作经验,从事2年微服务架构搭建工作,有大数据处理相关工作经验,使用spring全家桶包括:Spring,SpringBoot,SpringCloud 数据层组件服务使用SpringDataJpa,Mybatis以及其他第三方组件Sharding-JDBC,Sharding-Proxy分库分表。熟悉微服务,服务降级,限流,分流,做过项目源码修改,有cat,apollo,nacos使用经验,有Lostash,Elasticsearch,kibana,mysqlMHA生产实践经验,使用开源代码Apache Sarding项目,修改源码支持mysql分库分表使用年月日小时分库分表,docker做集群服务,Jekins做项目发布,GitLab做项目管理,使用docker容器部署,熟悉消息队列RabbitMQ,Kafka,ActiveMQ。RuoYi-Vue-Atomikos项目开源加入生态圈组件,项目支持分布式事务,界面添加多数据源,数据源动态配置,切面切换,多数据源事务支持,支持区域数据源配置,用于区域数据切分,数据层次分库。项目地址:https://gitee.com/zsiyang/ruoyi-vue-atomikos
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(3)个小伙伴在吐槽
  1. 悠扬
    走过路过不要错过
    悠扬2021-01-08 16:13 回复