目前流行的分布式存储和运算技术都有哪些？

ewili 2015-01-13 04:39:44

各位大侠，我们现在有这样一个场景
1.有一张百亿级数据量的表
2.业务要求数据库为关系型数据库
3.需要提高查询和数据分析效率
4.可用中间件解决

我们目前找到的方案有cobar和Tddl以及nuodb,请问各位大侠有没有更好的方案，同时了解过这几种技术的大侠请帮我们分析下哪种更适合我们

...全文

471 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

分布式计算Hadoop分布式系统现在主流开源分布式系统架构都有哪些？关注者950被浏览112,808关注问题写回答添加评论分享邀请回答14 个回答默认排序知乎用户68 人赞同了该回答分布式系统是一个非常广泛的概念，它最终要落实到解决实际问题上，不同的问题有不同的方法和架构。所有的开源软件都是以某个应用场景出现，而纯粹以“分布式”概念进行划分的比较少见。但如果以算法划分，到能分出几类：1....

文章目录大规模分布式存储系统（原理解析与架构实战OceanBase）第1章概述1.1 分布式存储概述1.2 分布式存储分类第一篇基础篇第2章单机存储系统2.1 硬件基础2.1.1 CPU架构2.1.2 IO总线2.1.3 网络拓扑2.1.4 性能参数2.1.5 存储层次架构2.2 单机存储引擎2.2.1 哈希存储引擎2.2.2 B树存储引擎2.2.3 LSM树存储引擎2.3 数据模型2.3.1 文件模型2.3.2 关系模型2.3.3 键值模型2.3.4 SQL与NoSQL2.4 事务与并发控制2.4.

随着人工智能技术的快速发展，大规模语言模型（Large Language Models, LLMs）如GPT-3、BERT、T5等在自然语言处理领域取得了突破性进展。这些模型通常包含数十亿甚至上千亿个参数，为了有效地存储、加载和推理如此庞大的模型，分布式技术成为了不可或缺的解决方案。本文将深入探讨大模型分布式存储与加载的核心技术，包括模型并行、张量并行、流水线并行等关键概念，以及它们在实际应用中的实现方法和优化策略。

区块链和分布式技术的核心概念是共识算法和智能合约，但这两种技术并不能满足人们当前的需求。例如，你看到过Netflix（美国一家在线影片租赁提供商）、Facebook和区块...

如果用户访问量增加到一定程度，这些流量还可以被转移到专用的Web服务器设备，虽然这种专用设备的成本较高，但是由于使用的是相同的Web内容交换技术来控制流量，所以网络的结构框架就不用再进行改变了。尤其是各个网络的核心部分，其数据流量和计算强度之大，使得单一设备根本无法承担，而如何在完成同样功能的多个网络设备之间实现合理的业务量分配，使之不至于出现一台设备过忙、而别的设备却未充分发挥处理能力的情况，就成了一个问题，负载均衡机制也因此应运而生。对于大型企业来说，采用升级技术是一种长远的、有前景的解决方案。

932

社区成员

652

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章