系统每天晚上会接收30W左右的业务数据，
这些业务数据会用于KPI计算；
针对于每天的数据量，一年会有上亿的数据；
在表设计这块，或性能这块，
如果设计可以提高性能？
同样，服务器硬件上应该如何考虑呢？（CPU、内存、硬盘）
-
本版专家分：2161结帖率 98.08% -
情况如下：
系统每天晚上会接收30W左右的业务数据，
这些业务数据会用于KPI计算；
针对于每天的数据量，一年会有上亿的数据；
在表设计这块，或性能这块，
如果设计可以提高性能？
同样，服务器硬件上应该如何考虑呢？（CPU、内存、硬盘）展开阅读全文
-
本版专家分：1659 -
原始数据如果没必要就别留了。把数加工成你需要的格式保存。
-
本版专家分：2161
-
数据还是要做界面展示的...
-
本版专家分：1460
-
每天30W不是什么压力
看数据接口怎么给的
硬件还要看其它有什么应用
- mongodb大数据查询通过skip会非常慢的问题（未解决）
周末打扰下哈： 在做导出时遇到 mongo读取蛮大数据量性能问题想请教下； 问题描述： 操作是提前查出数据总量计算分批，再利用mongodb的limit(M)和skip(N) 分页功能 来并发地去取出 dataList，由于（部分线程）skip的...
- 请教关于大数据量高频率批量插入数据库操作时数据库连接池连接使用问题
我们的系统是做信息数据采集的，将所有采集的数据存库，但是数据量是非常大的一天能够达到上千万的数据入库，在处理的过程中数据库连接使用过程中经常会出现一些问题，我使用的是C3P0的连接池，连接数给到20个用到一...
- 声网Agora 孙雨润：下一代实时传输体系结构的升级与应用
高级架构师孙雨润在 Qcon 上海站分享了主题演讲《下一代实时传输体系结构的升级与应用》，以下为演讲实录。过去三年，从百万到亿刚刚在QCon视频里看到有一位Facebook的工程师覃超，说我想有一个机会加入一家公司成为...
- EJB在大量数据传输的问题
项目介绍： ...问题介绍：别人调用EJB接口查询数据时，如果数据量有一万条以上，他们只能获得20条数据；其他情况正常 问题分析：查询的数据库中数据较多，在千万以上，查询万条数据需要一定的时间，...
- C，C++网络编程实现图像实时传输
导师让我把项目里OpenGl生成的图片通过UDP网络编程实时传输到电脑另一端，从一点不了解到实现图片单张传输，再到最后用TCP...网上请教了别人最后找到了解决方案: 基于winsock API，比较实用，自己写的，简单又...
- 关于TCP传输速率的测量方法
人们非常关心下载速度，对于使用非包月宽带以及使用付费CDN的用户而言，这是典型的拿钱买时间的行为，我支付的费用越高，希望的下载速度越快，所使用的累积带宽越大。关于各种测速方法也是汗牛充栋了，本文介绍一下...
- Oracle DBA手记4：数据安全警示录
Oracle DBA手记4：数据安全警示录 盖国强 著 ISBN978-7-121-17206-9 2012年7月出版 定价：65.00元 16开 404页 宣传语 灾难与拯救 全真全程商业案例！ 内 容 简 介 这是一本写给大家看的数据安全之书，不...
- Kettle 数据同步 原始表和目标表的数据对比技术请教与讨论
1. 2个数据库在做数据同步的传输， 数据库A为 mysql 数据库B 为 sqlserver 2. 每次将数据库A的表table1 同步到 数据库B的table2 3. 同步的时候 是根据 主键GID 为唯一性的判断， GID+时间+ 状态码 是更新的判断依据 ...
- 讨论一下大用户量应用客户端与服务器通讯技术方案选择
由于客户端用户数量群较大，有上千万的用户规模，所以目前选择的各种方案都有优缺点。结一下比较可行的方法主要有以下几种： 1、通过UDP socket方式，实现服务端与客户端通讯。这种方式优缺点就不说...
- 魅族莫涵宇：大数据平台的架构设计与实现
在演讲过程中，他提到由于魅族大数据总数据量超过2PB，数据各业务近500台主机，每日运行4000个调度任务，任务繁重下其他们团队进行了DW2.0的建设实践，构建适合解决业务痛点的数据产品，并进行了...
- 数据分析侠A的成长故事
数据分析侠A的成长故事面包君 同学A：22岁，男，大四准备实习，计算机专业，迷茫期作为一个很普通的即将迈入职场的他来说，看到周边的同学都找了技术开发的岗位，顿觉自己很迷茫，因为自己不是那么喜欢钻研写代码，...
- 上传文件流大小设置多少号？
ftp上传文件时数据缓冲区buffer的大小设置多少合适？该怎么处理 ftp上传文件时数据缓冲区buffer的大小设置多少合适？网上ftp类的源代码大多是 BLOCK_SIZE＝512 但我发现这样上传文件速度很慢 分别改成2048, 10240...
- 最近面试java后端开发的感受：如果就以平时项目经验来... [UWP]在应用开发中安全使用文件资源 请教：WCF速...
最近面试java后端开发的感受：如果就以平时项目经验来面试，通过估计很难——再论面试前的准备 在上周，我密集面试了若干位Java后端的候选人，工作经验在3到5年间。我的标准其实不复杂：第一能干活，第二Java...
- [大学回忆录]我的毕业设计总结
自评： 这篇文章也可以看成我的大四生活总结吧。 在这篇文章中，小笑想表达的是，他大四下学期没有虚度时日，他付出了很多，学了很多...这个毕业设计从选定题目到答辩，共跨越整整一个假期和差不多一个学期，时间
- Hello Redis，我有7个问题想请教你！
“Hello，Redis！我们相处已经很多年了，从模糊的认识到现在我们已经深入结合，你的好我一直都知道也一直都记住，能否再让我多问你的几个问题，让我更加深入的去了解你。Redis的通讯...
- 数据模型以及查询语言
请教了几个身边英语比我好的朋友，最终有个朋友，通晓日语和英语，还有 SQL 的硕士，翻译的比较时下： 别让语言，限制了我们的想象力！ 数据模型以及查询语言 当我们是一个应用开发人员，我们...
- 5G产品的PCB设计，5G与PCB板材
请教下各位老师，关于5G产品的PCB设计大家能否指导下： 5G 改变世界，是信息化浪潮下一步发展的必由之路。从世界各国尤其是美国的争夺就可以看出；5G 技术的特点有大带宽、低时延和超大规模连接；5G 与人工智能、...
- 不同数据库，不同表结构之间数据迁移
现在新旧系统切换，需要在新库中把老库的一些表数据导入到新库，但是新库的表结构是经过优化的，导致了新、老库表结构不一样的情况，请教一个迁移方案，谢谢（老库是sqlserver，新库是mysql）
- 用parcel解决intent传递大数据
前阵子遇到一个问题，批量设置商品的价格当选中的商品非常多时，app崩溃了，但是当选中的商品很少时却没问题，直觉告诉我是intent对传递数据的大小有限制，果然一百度发现intent对传递的数据大小有限制，具体可以...
- Altium Designer -- PCB布线面试题（转）
这套面试题，是N年前面试的时候遇到的，贴出来共享一下。它的回答可能不太准确，只作参考即可。参看：PCB布线面试题(一)1、如何处理实际布线中的一些理论冲突的问题问：在实际布线中，很多理论是相互冲突的；...