求教一个海量数据的存储设计方案

feng2 feng2 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
1、单表数据规模 10亿;
2、系统的用户规模很小,几乎不存在并发业务;
3、业务以分析为主,单次业务使用的数据规模100万。

从成本和复杂度考虑,打算放弃分库方案;
目前方案是使用表分区来设计,采用表分区将数据规模降低到1千万,再结合读写分离方案提升性能;

朋友们有没有类似案例,有更好的方案或建议。
...全文

相关推荐

Java架构师海量数据的存储方案

目录 1 导学 2 海量数据和大数据的区别 3 海量数据处理的核心思想 5 海量数据处理的方法 5.1 在业务上进行分批处理 5.2 数据库优化 5.3 合理使用缓存 5.4 分表分库 6 海量数据的存储方案 7 海量数据当中的写的方案 8 海量数据当中读的方案

赵广陆

数据资产存储方案:海量数据的经济高效存储

需求:实时查询最近7天的数据(用于推荐系统,延迟<200ms);离线分析最近6个月的数据(用于运营报表,速度>100MB/s);归档超过6个月的数据(用于合规审计,检索时间<24小时);痛点:之前用HDFS存所有数据,成本每月50万,且实时查询延迟超过500ms。我是李明,资深数据工程师,10年专注于海量数据存储与优化。曾主导过多个PB级存储项目,服务过电商、金融、制造业等行业客户。我的公众号“数据存储实战”会分享更多存储技巧,欢迎关注。行动号召你的数据分了热、温、冷吗?

AI实战架构笔记

变电站精细化设计施工标准(电气部分)

变电站精细化设计施工标准(电气部分).pdf。文档内容齐全,中间有页码不对,是因为这是两个文档合成的,不影响内容完整,内容为图片,不是源文档。

bigshentu

chromedriver-mac-x64-159.0.8133.0(Canary).zip

chromedriver-mac-x64-159.0.8133.0(Canary).zip

LCG元

YOLO26算法工业车间光伏组件热点与系列故障目标检测+训练好的模型+174张数据集+pyqt可视化界面.zip

附训练好的 YOLO 权重与 PyQt 可视化检测界面,页面底部含可视化效果预览,毕设/课设开箱即用。 【数据集概况】 · 检测类别(中文):[系列故障(Falla serie), 热点(Punto caliente)] · 训练集:153 张 · 验证集:14 张 · 测试集:7 张 · 总计:174 张 该数据集聚焦于工业车间内光伏组件的热成像检测场景,专门针对太阳能电池板在运行过程中出现的局部异常进行精准识别,具有明确的工程诊断价值与质量控制意义。数据采集覆盖多种典型热异常模式,为光伏系统运维中的早期隐患预警提供了高质量视觉样本支撑。... 【训练曲线与评估图】 【模型训练配置】 参数 | 值 模型 | yolo26n 训练轮数 | 100 epochs 输入尺寸 | 640x640 批次大小 | 24 优化器 | auto 初始学习率 | 0.01 训练设备 【关键指标汇总】 训练了 85 个 epoch,最终轮指标: 指标 | 数值 mAP50 | **0.8734** mAP50-95 | 0.3870 Precision | 0.8062 Recall | 0.8306 train/box_loss | 2.1071 train/cls_loss | 0.9683 val/box_loss | 1.9784 val/cls_loss | 0.6732 【训练过程分析】 从数据加载那一刻起,整个训练过程仿佛是在一条崎岖不平的道路上前进。训练初期,模型的收敛速度颇为迅速,loss 值稳步降低,到第 20 轮时,box_loss 从初始值 2.1071 下降到 1.85,但并未显著波动,仿佛遇到了平台期。从第 40 轮到 60 轮,训练过程变得愈发缓慢,loss 下降幅度逐渐减小,尤其是 cls_... 使用场景:毕业设计、课程设计、深度学习入门、工业场景落地验证。

guo_xiao_xiao_
评论 5
收藏 已收藏
分享
返回顶部
feng2
MySQL 57,062 成员 56,759 内容