logstash如何更新文件到elasticsearch中

2018-07-02 03:42:52 491 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

UBUNTU使用RTL8811CU网卡（包含树莓派）下载驱动从绿联中下载：链接下载解压后，chmod Linux文件夹 sudo chmod -R 777 ./Linux/ 修改系统的BOOT Secure为disable，参考链接：链接 sudo apt install mokutil sudo mokutil --disable-validation 重启电脑后，按照提示选择change secure boot state，并输入对应的字母（并不是全部密码，而是第几个），选择disable即可进入Linux文件夹，运行命令 .. 阅读详情

有个文件,里面有两列ID(标题id)和CLUSTER_ID(聚类ID),用逗号隔开。此文件每天全量更新一次,id每天有新增的。也有做昨天的id，但对应的CLUSTER_ID有可能会发生变化。

需求:
怎么用logstash监控日志，同步新增id以及修改原有的id的属性信息到elasticsearch中。目前按照现有配置，能解决新增id到elasticsearch。但解决不了已有id的更新问题

以下是logstash的配置文件,请参考:
input {
file {
path => "/home/mysql/test/es_stu.txt"
type => "stu"
start_position => "beginning" #从文件开始处读写
}
}
filter{
mutate{
split=>["message",","]
add_field => {
"sno" => "%{[message][0]}"
}
add_field => {
"name" => "%{[message][1]}"
}
add_field => {
"sex" => "%{[message][2]}"
}
add_field => {
"sage" => "%{[message][3]}"
}
add_field => {
"sdept" => "%{[message][4]}"
}
remove_field => ["message"]
}
}
output{
elasticsearch{
hosts=>["192.168.17.108:9200"]
index => "test_stu"
}
}

...全文