为什么我用logstash插件同步oracle数据到es中,最终只有一条数据,明明数据库有上千条数据

Mak1214 2019-11-20 01:38:05
前提,我的es与logstash都是6.x

input {
stdin{

}
jdbc{
#jdbc_connection_string => "jdbc:oracle:thin:@127.0.0.1:1521/orcl" # jdbc数据库连接
jdbc_user => "mk" #数据库用户名
jdbc_password => "111" #数据库密码
jdbc_driver_library => "D:\soft-mk\ES\logstash-6.6.0\bin\oracle-jdbc\ojdbc14.jar" # oracle jar包文件路径
jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver" # jdbc数据库驱动
#处理中文乱码问题
codec => plain { charset => "UTF-8"}
#record_last_run => "true"
#use_column_value => "false"
#tracking_column => "book_Id"
#last_run_metadata_path => "D:\soft-mk\ES\logstash-6.6.0\bin\oracle-jdbc\my_info"
#clean_run => "false" #是否清除 last_run_metadata_path 的记录,如果为真那么每次都相当于从头开始查询所有的数据库记录
#jdbc_paging_enabled => "true"
#jdbc_page_size => "5000" # 同步数据分页设置
#statement_filepath => "D:\soft-mk\ES\logstash-6.6.0\bin\oracle-jdbc\jdbc.sql" # 需同步的数据执行的SQL文件路径
statement => "select * from BOOK" # where book_Id > :sql_last_value"也可以直接将sql配置在这里
schedule => "* * * * *" # 各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新
type=>"book"
}
}

output{
elasticsearch{
hosts => "127.0.0.1:9200" # ES连接
index => "ebook-search" # ES索引名称
document_id => "%{book_Id}" # id对应ORACLE中主键字段
document_type => "book"
}
}


上面是logstash的配置,有知道怎么回事的麻烦解答下,谢谢了
...全文
1149 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
醉初 ㅤ 2020-07-13
  • 打赏
  • 举报
回复
解决了谢谢,困扰我一下午
Mak1214 2019-11-20
  • 打赏
  • 举报
回复 4
原因以查明。。。导致只有一条数据的原因是因为 document_id=> "%{book_Id}"导致的,去掉或者,设置id自增都可以解决这个问题
内容概要:本文围绕基于Basisformer模型的时间序列锂离子电池SOC(State of Charge,荷电状态)预测展开研究,利用PyTorch框架实现深度学习模型的构建与训练。通过将历史充放电数据作为输入,Basisformer能够有效捕捉电池状态的动态变化特征,提升SOC预测精度。文详细介绍了模型结构设计、数据预处理流程、训练策略及实验结果分析,并与传统方法进行对比,验证了该方法在复杂工况下的优越性与鲁棒性。该研究不仅展示了Basisformer在时序建模的潜力,也为电池管理系统提供了高精度的状态估计解决方案。; 适合人群:具备一定Python编程基础和深度学习理论知识,熟悉PyTorch框架,从事电池管理系统、新能源汽车或智能预测方向研究的研究生、科研人员及工程技术人员。; 使用场景及目标:①应用于电动汽车、储能系统等领域的电池SOC高精度实时估算;②为电池健康管理(BMS)提供可靠的状态输入;③推动深度学习在时间序列预测的实际落地,提升现有预测模型的泛化能力与稳定性; 阅读建议:建议读者结合标题为【锂电池SOC估计】【PyTorch】基于Basisformer时间序列锂离子电池SOC预测研究(python代码实现)的资源,重点研读所提供的Python代码,深入理解数据处理方式与模型网络结构的设计思路,尝试调整超参数以观察对预测性能的影响,从而全面掌握Basisformer在时序建模的优势、适用边界及工程化实现路径。

51,409

社区成员

发帖
与我相关
我的任务
社区描述
Java相关技术讨论
javaspring bootspring cloud 技术论坛(原bbs)
社区管理员
  • Java相关社区
  • 小虚竹
  • 谙忆
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧