分布式？-如何解决传统数据结构海量数据的问题

hardsonxu 2017-03-07 05:52:31

请教各路高人，现在有复杂业务逻辑的数据结构，主表七八十个字段，事务要求强一致性。数据量马上要上千万级别了，很快就会遇到瓶颈。将来数据量要求达到1亿。请问如何能实现？对hadoop等分布式技术不是很熟，能用分布式技术实现吗？

...全文

320 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

hardsonxu 2017-03-14

打赏
举报

回复

非常感谢link007。我们都是用oracle数据库，能实现吗？

LinkSe7en 2017-03-07

打赏
举报

回复

用MySQL集群分库分表+mycat中间件。强调强一致性的话，只数据分片，不读写分离。MySQL的主从同步读写分离是个大坑，之前看Pinterest有文章讲过的。才千万级，莫慌。

大型互联网技术架构4－分布式存储-II; 分布式文件系统－ Google GFS; 分布式键值系统－ Alibaba Tair;分布式表格系统－ Google BigTable /Megastore;分布式数据库系统－Google Spanner / F1

文章目录HDFS分布式文件系统基础一、文件系统、分布式文件系统文件系统定义传统常见的文件系统数据、元数据思考海量数据存储遇到的问题思考案例场景互动：分布式存储系统的核心属性及功能含义一、分布式存储的优点...

从本专题我们开始进入分布式专题，分布式作为互联网企业技术人员必备的技能之一。也是我们本套分享内容所有专题都是围绕分布式展开的，不可谓不重要~ Tips： 1.了解分布式架构中的相关概念 2.初始分布式架构及意义 ...

海量数据管理中的一致性理论，包括CAP理论，BASE理论，数据一致性理论模型，以及现有的经典数据一致性技术。其中CAP (Consistency, Availability, Partition Tolerance,) 理论是NoSQL数据库管理系统构建的基础。 ...

elasticsearch是一款非常强大的开源搜索引擎,可以帮助我们从海量数据中快速找到需要的内容。我们为什么要学习Elasticsearch？看一下全球搜索技术排行：三、Elasticsearch与传统数据库搜索对比搜索方式： ...

Hadoop生态社区

20,811

社区成员

4,691

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章