博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
ElasticSearch数据库同步插件logstash
阅读量:4345 次
发布时间:2019-06-07

本文共 1061 字,大约阅读时间需要 3 分钟。

 

  1.下载和elasticsearch 相同版本的logstash.

  2.进行解压后,进入bin下,新建一个文件mysql.conf,并输入

input {

stdin{
}
}
output {
stdout{
}
}

3.cmd进入bin 下,输入logstash -f mysql.conf  启动后,输入  http://127.0.0.1:9600/

4.ok;说明已经启动了

 

一个配置

input {

stdin {
}
#可以设置多个jdbc,也就是多个表的映射,type和下面的进行对应
jdbc {
# mysql 数据库链接,shop为数据库名
jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/cheng"
# 用户名和密码
jdbc_user => "root"
jdbc_password => "admin"
# 驱动
jdbc_driver_library => "./../lib/mysql-connector-java-5.1.38.jar"
# 驱动类名
jdbc_driver_class => "com.mysql.jdbc.Driver"
#是否分页查询
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
# 执行的sql 文件路径+名称
statement_filepath => "./mysql.sql"
# 设置监听间隔 各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新
schedule => "* * * * *"
# 索引类型
type => "content"
}
}

filter {

json {
source => "message"
remove_field => ["message"]
}
}

 

output {
#可以设置多个type,也就是多个表的映射
if[type] == "content"{
elasticsearch {
hosts => ["localhost:9200"]
#es索引名称
index => "cmscontent"
#自增ID编号
document_id => "%{id}"
}
stdout {
codec => json_lines
}
}
}

 

 

 

 

转载于:https://www.cnblogs.com/chengyangyang/p/10184463.html

你可能感兴趣的文章
17. Letter Combinations of a Phone Number
查看>>
高铁运营数据积累
查看>>
collections模块方法详解
查看>>
使用session防止重复提交
查看>>
10 款新鲜出炉的jQuery UI插件
查看>>
A. 【UR #16】破坏发射台
查看>>
遇到过的小问题
查看>>
梳理知识点(一)
查看>>
ftk学习记(输入框篇)
查看>>
nginx菜鸟模块开发遇到的问题汇总之nginx_array_t
查看>>
ssh登录问题
查看>>
Azure Table storage 之改进DynamicTableEntity类为其添加动态语言扩展
查看>>
在每页(分页)报表中重复显示标题 - SQL Server Reporting Service (SSRS)
查看>>
Spring的前期配置
查看>>
计算机体系结构层次-一张图诠释
查看>>
所闻所获2:使用块回调来实现代理的功能
查看>>
程序猿要知道的事情
查看>>
redis修改的源代码zincrby,hincrby命令
查看>>
积累1数
查看>>
【目标杂谈】
查看>>