elasticsearch 索引数据多了怎么办,如何调优,部署

忍性% 手握日月摘星辰,世上无我这般人 2022-01-15 13:22:46

3.1 动态索引层面
基于模板+时间+rollover api 滚动创建索引,举例:设计阶段定义:blog 索引的模板格式为:
blog_index_时间戳的形式,每天递增数据。这样做的好处:不至于数据量激增导致单个索引数据量非
常大,接近于上线 2 的32 次幂-1,索引存储达到了 TB+甚至更大。
一旦单个索引很大,存储等各种风险也随之而来,所以要提前考虑+及早避免。
3.2 存储层面
冷热数据分离存储,热数据(比如最近 3 天或者一周的数据),其余为冷数据。
对于冷数据不会再写入新数据,可以考虑定期 force_merge 加 shrink 压缩操作,节省存储空间和检索
效率。
3.3 部署层面
一旦之前没有规划,这里就属于应急策略。
结合 ES 自身的支持动态扩展的特点,动态新增机器的方式可以缓解集群压力,注意:如果之前主节点
等规划合理,不需要重启集群也能完成动态新增的。

...全文
314 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
Serendipity 2022-01-15
  • 打赏
  • 举报
回复 1

学到了

内容概要:本文介绍了Elasticsearch分布式搜索的核心原理及其在毕业设计中的优化应用。文章阐述了Elasticsearch通过将数据分布于多个节点实现高效并行搜索的技术机制,并围绕缓存机制、集群配置优化、监控与调优三大核心技巧展开讲解,帮助提升系统性能与稳定性。结合实际应用场景,如电商商品搜索、社交网络信息检索及高校科研管理系统中的数据分析,展示了其广泛适用性。文中还提供了基于Python客户端的完整代码示例,涵盖索引创建、文档插入与查询操作,便于实践落地。最后展望了Elasticsearch与容器化技术、云服务融合的发展趋势,以及安全与隐私保护的研究方向。; 适合人群:计算机或大数据相关专业,具备一定编程和系统设计能力的本科或研究生阶段学生;正在开展涉及搜索功能或数据检索类毕业设计的研究者;对分布式系统和搜索引擎技术感兴趣的学习者。; 使用场景及目标:①在毕业设计中构建高性能搜索功能,如实现科研数据快速检索、电商平台商品精准匹配等;②掌握Elasticsearch集群部署、性能调优与监控方法,完成系统级优化任务;③结合Docker、Kubernetes或云平台进行现代化部署实践,提升项目工程化水平。; 阅读建议:建议读者在学习过程中结合代码示例搭建本地Elasticsearch环境,动手实践索引操作与查询优化,并利用Kibana等工具进行性能监控分析,深入理解分布式搜索的工作机制与调优策略。

513,404

社区成员

发帖
与我相关
我的任务
社区描述
我命由我不由天,来吧,和哪吒一起奋发图强,搬砖工逆袭Java架构师!
社区管理员
  • 哪 吒
  • Baker-Chen
  • 是Lay
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

【Java技能树】和哪吒一起,打卡100天,每天分享一个知识点,一起学习,一起进步,告别CRUD,搬砖工逆袭Java架构师,加油!

【积分榜】积分榜前十每周都有精彩礼包赠送!

【添加微信】备注1024,加入哪吒微信交流群,一起学习交流进大厂

试试用AI创作助手写篇文章吧