2.1w+
社区成员
请教：大数据量传输设计方案
情况如下：
系统每天晚上会接收30W左右的业务数据，
这些业务数据会用于KPI计算；
针对于每天的数据量，一年会有上亿的数据；
在表设计这块，或性能这块，
如果设计可以提高性能？
同样，服务器硬件上应该如何考虑呢？（CPU、内存、硬盘）
系统每天晚上会接收30W左右的业务数据，
这些业务数据会用于KPI计算；
针对于每天的数据量，一年会有上亿的数据；
在表设计这块，或性能这块，
如果设计可以提高性能？
同样，服务器硬件上应该如何考虑呢？（CPU、内存、硬盘）
...全文
当前发帖距今超过3年，不再开放新的回复
发表回复
面试 业务层涉及的对象有三种类型：事务脚本类（封装了业务的流程）、数据访问对象（DAO，封装了持久化操作）、数据传输对象（DTO，封装了失血/贫血领域对象），三者之间的关系是事务脚本类组合（聚合）数据访问对象，这...
干货，OLAP数仓从百万到百亿级数据量实时分析 一、有哪些类型的OLAP数仓？1.按数据量划分对一件事物或一个东西基于不同角度，可以进行多种分类方式。对数仓产品也一样。比如我们可以基于数据量来选择不同类型的数量，如下图所示：本系列文章...
DSP入门应该懂得57个问题 但在CCS中，为了方便调试，可以将数据通过prinf命令虚拟输出到主机的屏幕上。 2)DSP的C语言的编译过程为，C编译为ASM（汇编语言），再由ASM编译为OBJ（中间代码文件）。因此C和ASM的对应关系非常明确，非常便于...
声网Agora 孙雨润：下一代实时传输体系结构的升级与应用 高级架构师孙雨润在 Qcon 上海站分享了主题演讲《下一代实时传输体系结构的升级与应用》，以下为演讲实录。过去三年，从百万到亿刚刚在QCon视频里看到有一位Facebook的工程师覃超，说我想有一个机会加入一家公司成为...
数据模型以及查询语言 请教了几个身边英语比我好的朋友，最终有个朋友，通晓日语和英语，还有 SQL 的硕士，翻译的比较时下： 别让语言，限制了我们的想象力！ 数据模型以及查询语言 当我们是一个应用开发人员，我们...
linux_驱动_camera_架构_V4L2_实现数据传输 3-24 请教一个摄像头数据传输的问题 03-13 USB摄像头驱动之实现数据传输2_实现简单函数_运维_qq_4..._CSDN博客 4-4 ...数据,并实时传输到客户端,延迟大概40ms左右_运维_Mr..._CSDN博客 5-3 摄像头的数据采集和TCP...
魅族莫涵宇：大数据平台的架构设计与实现 在演讲过程中，他提到由于魅族大数据总数据量超过2PB，数据各业务近500台主机，每日运行4000个调度任务，任务繁重下其他们团队进行了DW2.0的建设实践，构建适合解决业务痛点的数据产品，并进行了...
Hello Redis，我有7个问题想请教你！ Redis 跟其他传统数据库不同，Redis 是一个纯内存的数据库，并且存储了都是一些数据结构的数据，如果不对内存加以控制的话，Redis 很可能会因为数据量过大导致系统的奔溃。 Ziplist 127.0.0.1:6379> hset hash_...
新基建深度报告：七大领域十大龙头分析 来源：华泰证券稳增长、促转型，把握新基建浪潮中的七大产业机遇七大领域：5G、数据中心、云计算、工业互联网、物联网、人工智能、传 统基础设施数字化改造新基建担负着不一样的历史使命。传统基...
[大学回忆录]我的毕业设计总结 自评： 这篇文章也可以看成我的大四生活总结吧。 在这篇文章中，小笑想表达的是，他大四下学期没有虚度时日，他付出了很多，学了很多...这个毕业设计从选定题目到答辩，共跨越整整一个假期和差不多一个学期，时间
转载：PCB设计大神的105个经验总结 现在，虽然有很多软件可以实现PCB自动布局布线，但是随着信号频率不断提升，很多时候，工程师需要了解有关PCB布局布线的最基本的原则和技巧，这样才可以让自己的设计完美无缺，《PCB（印制电路板）布局布线100问》...
初学者应该怎么学习前端？web前端的发展路线大剖析！ 新手学习前端的话，一定要想想为什么要学习它，是出于一种什么心态，然后定位好自己，多向大牛请教，多教一些没有自己水平高的人，那样往往能让自己成长的快，切勿急躁。在这里一定要对自己做分析，然后找出一种适合...
渗透测试面试问题2021版，内含大量渗透技巧 清除测试数据&输出报告 复测 问题 1.拿到一个待检测的站，你觉得应该先做什么？ 2.判断出网站的CMS对渗透有什么意义？ 3.一个成熟并且相对安全的CMS，渗透时扫目录的意义？ 4.常见的网站服务器容器。 5....
数据中台从何而来 DT时代，大数据成为人们谈论的焦点，2019年更被誉为数据中台元年。人人都在谈数据中台，却不是所有人都清楚，从历史逻辑来看，中台或者数据中台从何而来？ 少数清楚这段历史的人中，有一位大数据老司机，人称「才...
堪比巨著：饿了么交易系统5年演化血泪史 二是发现后边的很多同学看交易体系时，一接触就是分布式、SOA、每日百万、千万数据量，只知道它是这个样子，很难理解背后的思考和缘由。伴随自己这几年的经验，想让大家能够更容易的理解这个演化过程的原因和历程，...
产品读书《B端产品经理必修课：从业务逻辑到产品构建全攻略》 B端产品主要分为两大类： 为公司的管理服务，如：HR系统、OA系统； 为公司的运营服务，如：供应链系统、ERP系统的。 B端产品即要符合商业组织的战略要求，能够满足商业用户需求，将已有商业运行逻辑进行系统化、...
非标机械设计该怎么做，老机械工程师告诉你 非标机械设计该怎么做，20多年的老机械工程师告诉你！工业机器人应用集成也需要非标设计！ 非标机械设计该怎么做，老机械工程师告诉你 非标机械设计是什么？ 非标机械设计具体是什么？简单的说就是非标准设备以及非...
朝花夕拾-不务正业的大学生做了什么比赛？ ESP8266开发板（NodeMcu）30元 一个可以传输数据的USB数据线（注意有些USB数据线只能够充电，无法通讯） 需要利用数据线下载程序 2个大按键 5元 母对母杜邦线若干 I2C接口的oled 25元 功放 功放是梦开始的地方，第...
