大数据表之间的关联查询问题请求帮助

XianyongaiYu 2007-08-14 08:52:56

２个数据量（以Ｇ为单位）很大的表之间　进行关联查询　采用ｗｉｎｄｏｗｓ服务方式进行　定时查询　　请问程序该怎么设计　数据库采用哪种方式进行查询　性能才会比较好？

...全文

132 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

anguang 2007-08-15

打赏
举报

回复

最起码，别忘记了关联列加索引

更多技术交流、求职机会、试用福利，欢迎关注相信大家都对大名鼎鼎的ClickHouse有一定的了解了，它强大的数据分析性能让人印象深刻。但在字节大量生产使用中，发现了ClickHouse依然存在了一定的限制。例如：缺少完整的upsert和delete操作多表关联查询能力弱集群规模较大时可用性下降（对字节尤其如此）没有资源隔离能力因此，我们决定将ClickHouse能力进行全方位加强，打造一款更强大的数据分析平台。本篇将详细介绍我们是如何加强ClickHouse多表关联查询能力。

通常数据库分为关系型数据库和非关系型数据库，关系型数据库的优势到现在也是无可替代的，比如MySQL、SQL Server、Oracle、DB2、SyBase、Informix、PostgreSQL以及比较小型的Access等等数据库，这些数据库支持复杂的SQL操作和事务机制，适合小量数据读写场景；但是到了大数据时代，人们更多的数据和物联网加入的数据已经超出了关系数据库的承载范围。 大数据时代初期，随着数据请求并发量大不断增大，一般都是采用的集群同步数据的方式处理，就是将数据库分成了很多的小库，每个数据库的数

大数据平台中Hadoop的分布式文件系统（HDFS）之上形成了一种极具特色的技术群体，那就是SQL查询引擎。这就包括了Hive、Impala、Presto、Spark SQL等；在分布式数据库HBase也具有Impala、phoenix这样的SQL外观，可以通过SQL与HBase交互；另外分布式关系模型数据库(NewSQL)，例如：cockroachdb的sql layer、TiDB的tidb模块等在自身架构体系中不仅是查询引擎，也是SQL插入、更新和删除的SQL执行引擎。...

1、前言对于solr来说是无法做两个collection之间的关联的，es是否可以做到类似于表的join关联那，这就是本篇需要研究的内容，主要参考内容是官方文档。先说下结论，如果不做特殊处理，es是无法完成类似与表Join的关联查询的。 2、ES如何做关联官网里面有几种支持关联查询的办法： 2.1 应用程序做关联这个没有什么好说的，其实不算真正的关联，需要先查询...

大数据时代才刚刚开始。随着越来越多的公司倾向于大数据运营，人才需求达到历史最高水平。这对你意味着什么？如果您想在任何大数据岗位上工作，它只能转化为更好的机会。您可以选择成为数据分析师，数据科学家，数据库管理员，大数据工程师，Hadoop大数据工程师等。在本文中，慧都网将介绍与大数据相关的前50大数据面试问题。 50个最受欢迎的大数据访谈和面试问题为了使您的职业生涯更具优势，您应该为大数据面...

17,082

社区成员

55,236

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章