【海量数据】

吕津 2013-08-20 04:04:28

现在面试单位大都会问这个问题，请大家谈谈各自的看法或提供一些资源吧。
比如环境搭建，优秀案例，国外同行经验等等，必有高分奉送！

...全文

471 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

吕津 2013-08-26

打赏
举报

回复

引用 1 楼 jadilee 的回复:

我大概会从如何获取数据如何存储数据如何提取加工数据这3个方面来说.

And then?

刘兄弟 2013-08-23

打赏
举报

回复

我大概会从如何获取数据如何存储数据如何提取加工数据这3个方面来说.

基础知识： bit：位 byte：字节 1 byte= 8 bit int 类型为 4 byte，共32位bit，unsigned int也是 2^32 byte = 4G 1G= 2^30 =10.7亿海量数据处理概述：所谓海量数据处理，就是指数据量太大，无法在较短时间内迅速解决，或者无法一次性装入内存。而解决方案就是：针对时间，可以采用巧妙的算法搭配合适的数据结构，如 Bloom filter/Hashmap/bit-map/堆/数据库/倒排索引/trie树；针对空间...

7月28日，沪市主板上市企业北京海量数据技术股份有限公司（603138.SH）正式发布了企业级私有云数据库AtlasDB（云图数据库）。来自发改委、工信部、保密局、能源局、气象局、交通部、人民银行、深圳市政府、北京市政府等单位的领导和专家共同见证了这一时刻。此前，这款数据库产品已经在上百套用户系统平稳运行超过一年。当前，我国基础软件类的数据库技术与国际先进水平相比依旧相距甚远。虽然我国在信息技...

短期内为扭转利润颓势，可提高需求牵引型研发模式的比重，提高商业转化效率，扩大可覆盖的客户群体，同时也会推动内生型研发模式的更好落地，两种模式从来不是割裂的，研发最终都要应用于实践，探索两种模式的良性兼容，或许是未来需要的发展道路。作为具有号召力的国产数据库企业，可以以企业名义举办高水平竞赛，吸引优秀人才参与竞争，群策群力，贡献优秀创意，优胜者由企业作为背书发布证书、奖金等，优秀人才也可考虑直招，相对来说可以较低成本获取研发成果，也可吸纳优秀人才，扩大品牌影响力。来看海量数据的答卷。

1.什么是海量数据？海量数据，顾名思义，数据量一般大得多．海量数据一般是相对当前计算机处理能力而言的，今天看来是海量数据，也许随着计算机硬件能力的提升在不久的将来就不算海量数据了．即使是同一时期，不同的应用领域，不同的学科以及不同的硬件条件下，海量数据所呈现的数据量也不尽相同．对于用户个人来说，凡是在个人计算机上处理敛据时经常出现“out of memory”提示的数据量，都可...

当前数据存在的问题：一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据；二、软硬件要求高，系统资源占用率高。对海量的数据进行处理，除了好的方法，最重要的就是合理使用工具，合理分配系统资源。三、要求很高的处理方法和技巧。好的处理方法是一位工程师长期工作...

数据库开发

8,028

社区成员

1,363

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章