SQL中如何实现大数据量共现分析

[brody18]

SQL中如何实现大数据量共现分析 :现有上千万篇论文，每篇论文有一个或多个作者，如何统计 作者两两合作次数,

以下表示 论文1有2个作者，论文2有3个作者；论文1作者A,B称为合作一次，数据量较大，希望考虑效率，通过连接的方式会出现2次，如 A B ;B A
论文 作者
1 A
1 B
2 A
2 C
2 B

希望得到结果
作者 作者 合作次数
A B 2
A C 1
B C 1

[haitao]

select t1.作者 f1,t2.作者 f2,count(*) 合作次数
from t t1
left join t t2 on t1.论文=t2.论文 and t1.作者<>t2.作者
group t1.作者,t2.作者

[Andy-W]

這應該從設計方面考慮，至少有一張table來存儲合作次數，每一次合作就mark下合作的table. 這樣根本不用擔心因數據量，使用聚合函數統計引起的性能問題。