为什么我用logstash插件同步oracle数据到es中,最终只有一条数据,明明数据库有上千条数据

Mak1214 2019-11-20 01:38:05
前提,我的es与logstash都是6.x

input {
stdin{

}
jdbc{
#jdbc_connection_string => "jdbc:oracle:thin:@127.0.0.1:1521/orcl" # jdbc数据库连接
jdbc_user => "mk" #数据库用户名
jdbc_password => "111" #数据库密码
jdbc_driver_library => "D:\soft-mk\ES\logstash-6.6.0\bin\oracle-jdbc\ojdbc14.jar" # oracle jar包文件路径
jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver" # jdbc数据库驱动
#处理中文乱码问题
codec => plain { charset => "UTF-8"}
#record_last_run => "true"
#use_column_value => "false"
#tracking_column => "book_Id"
#last_run_metadata_path => "D:\soft-mk\ES\logstash-6.6.0\bin\oracle-jdbc\my_info"
#clean_run => "false" #是否清除 last_run_metadata_path 的记录,如果为真那么每次都相当于从头开始查询所有的数据库记录
#jdbc_paging_enabled => "true"
#jdbc_page_size => "5000" # 同步数据分页设置
#statement_filepath => "D:\soft-mk\ES\logstash-6.6.0\bin\oracle-jdbc\jdbc.sql" # 需同步的数据执行的SQL文件路径
statement => "select * from BOOK" # where book_Id > :sql_last_value"也可以直接将sql配置在这里
schedule => "* * * * *" # 各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新
type=>"book"
}
}

output{
elasticsearch{
hosts => "127.0.0.1:9200" # ES连接
index => "ebook-search" # ES索引名称
document_id => "%{book_Id}" # id对应ORACLE中主键字段
document_type => "book"
}
}


上面是logstash的配置,有知道怎么回事的麻烦解答下,谢谢了
...全文
1173 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
醉初 ㅤ 2020-07-13
  • 打赏
  • 举报
回复
解决了谢谢,困扰我一下午
Mak1214 2019-11-20
  • 打赏
  • 举报
回复 4
原因以查明。。。导致只有一条数据的原因是因为 document_id=> "%{book_Id}"导致的,去掉或者,设置id自增都可以解决这个问题
内容概要:本文系统研究了Picard迭代法在非线性常微分方程参数估计的应用,深入阐述了该方法的数学原理及其在参数辨识的收敛性与稳定性优势。通过构建最小化误差的目标函数,并结合数值积分技术,采用迭代方式逐步逼近系统的真实参数值,有效解决了非线性动态系统因缺乏解析解而难以进行精确建模的问题。文提供了完整的Matlab代码实现,涵盖模型定义、迭代求解、参数更新与结果可视化等关键环节,增强了方法的可操作性与工程实用性。研究通过典型非线性系统案例验证了算法的有效性,展示了其在科学计算与工程建模的良好适应性与推广潜力。; 适合人群:具备常微分方程理论、数值分析基础及Matlab编程能力,从事系统建模、参数辨识、动力学仿真等相关方向的研究生、科研人员和工程技术开发者。; 使用场景及目标:①解决实际工程非线性微分方程模型的未知参数估计问题;②深入理解Picard迭代法在科学计算的实现机制与数值特性;③为学术论文复现、科研项目开发或课程设计提供可运行、易调试的技术方案与代码参考。; 阅读建议:建议读者结合文的数学推导与Matlab代码逐行分析,重点关注迭代流程、目标函数构造与数值积分的耦合实现,通过修改模型结构或噪声条件进行扩展实验,以深化对算法鲁棒性与适用边界的理解。配套资源可通过指定公众号和网盘链接获取,推荐同步学习以加速科研进程。
内容概要:本文详细介绍了一种基于多尺度集成极限学习机(Extreme Learning Machine, ELM)的回归方法,并提供了完整的Matlab代码实现。该方法通过构建多尺度特征表示与集成学习机制,有效提升了ELM在处理非线性、高维复杂数据时的预测精度与模型鲁棒性,特别适用于时间序列回归任务。文档不仅阐述了算法的核心原理与技术流程,还系统展示了其在风电功率预测等工程场景的应用潜力。同时,文附带了丰富的科研仿真案例集合,涵盖智能优化算法、深度学习、信号处理、电力系统调度等多个前沿方向,体现了多学科交叉融合的技术优势与实践价值。; 适合人群:具备一定Matlab编程能力,从事科学研究或工程应用的研究生、科研人员及工程技术开发者,尤其适合专注于机器学习、智能算法优化、新能源预测与电力系统建模等相关领域的专业人员。; 使用场景及目标:①用于风电、光伏、负荷等时间序列数据的高精度回归预测任务;②为科研工作者提供可复现的多尺度集成ELM模型代码框架,支持快速算法验证与二次开发;③满足实际工程项目对高效建模、实时预测与智能决策的技术需求。; 阅读建议:建议读者结合所提供的Matlab代码进行动手实践,深入理解多尺度特征构造与集成策略的设计思想,同时可参考文档其他相关算法案例进行横向比较与综合应用,以提升整体科研创新能力。

51,407

社区成员

发帖
与我相关
我的任务
社区描述
Java相关技术讨论
javaspring bootspring cloud 技术论坛(原bbs)
社区管理员
  • Java相关社区
  • 小虚竹
  • 谙忆
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧