目前流行的分布式存储和运算技术都有哪些？

ewili 2015-01-13 04:39:44

各位大侠，我们现在有这样一个场景
1.有一张百亿级数据量的表
2.业务要求数据库为关系型数据库
3.需要提高查询和数据分析效率
4.可用中间件解决

我们目前找到的方案有cobar和Tddl以及nuodb,请问各位大侠有没有更好的方案，同时了解过这几种技术的大侠请帮我们分析下哪种更适合我们

...全文

474 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

分布式计算Hadoop分布式系统现在主流开源分布式系统架构都有哪些？关注者950被浏览112,808关注问题写回答添加评论分享邀请回答14 个回答默认排序知乎用户68 人赞同了该回答分布式系统是一个非常广泛的概念，它最终要落实到解决实际问题上，不同的问题有不同的方法和架构。所有的开源软件都是以某个应用场景出现，而纯粹以“分布式”概念进行划分的比较少见。但如果以算法划分，到能分出几类：1....

区块链和分布式技术的核心概念是共识算法和智能合约，但这两种技术并不能满足人们当前的需求。例如，你看到过Netflix（美国一家在线影片租赁提供商）、Facebook和区块...

文章目录大规模分布式存储系统（原理解析与架构实战OceanBase）第1章概述1.1 分布式存储概述1.2 分布式存储分类第一篇基础篇第2章单机存储系统2.1 硬件基础2.1.1 CPU架构2.1.2 IO总线2.1.3 网络拓扑2.1.4 性能参数2.1.5 存储层次架构2.2 单机存储引擎2.2.1 哈希存储引擎2.2.2 B树存储引擎2.2.3 LSM树存储引擎2.3 数据模型2.3.1 文件模型2.3.2 关系模型2.3.3 键值模型2.3.4 SQL与NoSQL2.4 事务与并发控制2.4.

随着人工智能技术的快速发展，大规模语言模型（Large Language Models, LLMs）如GPT-3、BERT、T5等在自然语言处理领域取得了突破性进展。这些模型通常包含数十亿甚至上千亿个参数，为了有效地存储、加载和推理如此庞大的模型，分布式技术成为了不可或缺的解决方案。本文将深入探讨大模型分布式存储与加载的核心技术，包括模型并行、张量并行、流水线并行等关键概念，以及它们在实际应用中的实现方法和优化策略。

什么是分布式云计算？首先来看一段维基百科的定义：分布式计算，又被称为分散式运算，主要研究分布式系统如何进行计算。分布式系统是一组计算机，透过网络相互连接传递消息与通信后并协调它们的行为而形成的系统，组件之间彼此进行交互以实现一个共同的目标。把需要进行大量计算的工程数据分割成小块，由多台计算机分别计算，再上传运算结果后，将结果统一合并得出数据结论的科学。分布式系统的例子来自有所不同的面向服务的架构...

932

社区成员

652

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章