一定要存数据库吗？把粉丝名字存到MySQL数据表里面，然后用SQL语句查询共同项吗？想请有经验的朋友指点一下。
谢谢
-
等级
本版专家分：0结帖率 98.04% -
比如我抓到两个大V微博的粉丝名称数据，大概各有几千万的样子，想找出他们有哪些共同粉丝，这种场景一般怎么实现啊。在下没做过这么大量级的数据，完全没头绪。
一定要存数据库吗？把粉丝名字存到MySQL数据表里面，然后用SQL语句查询共同项吗？想请有经验的朋友指点一下。
谢谢展开阅读全文
-
等级
本版专家分：4731勋章
-
-
红花
2014年10月 其他开发语言大版内专家分月排行榜第一
2014年9月 其他开发语言大版内专家分月排行榜第一
2014年8月 其他开发语言大版内专家分月排行榜第一
2014年6月 其他开发语言大版内专家分月排行榜第一
-
-
首先，现在粉丝抓全部的非常不好处理，你确定你能抓下来？现在默认只能抓200条最新的粉丝。
抓下来以后收据处理就是找到共同的粉丝，这么大数量级，必须先考虑算法设计。否则很慢的！
-
等级
本版专家分：4731勋章
-
-
红花
2014年10月 其他开发语言大版内专家分月排行榜第一
2014年9月 其他开发语言大版内专家分月排行榜第一
2014年8月 其他开发语言大版内专家分月排行榜第一
2014年6月 其他开发语言大版内专家分月排行榜第一
-
-
补充一下， 数据可是可以利用的，把id设置为UNIQUE KEY然后插入捕获异常！就能找得到了，这是个好思路，但是还是会涉及数据量太大的问题！这么大的数据我没玩过，专业做数据挖掘的或者数据库的补充吧。
-
等级
本版专家分：910 -
还没玩过这么大的数据，帮定下，估计并行处理会快点
-
等级
本版专家分：0
-
嗯，我也是偶然想到这个应用场景，就发出来和大家探讨一下。如果把算法部分抽出来呢？两个几万条记录的数组，想找出来其中几十个相同的元素怎么找呢？如果数组是无序的，好像比较麻烦啊
-
等级
本版专家分：4731勋章
-
-
红花
2014年10月 其他开发语言大版内专家分月排行榜第一
2014年9月 其他开发语言大版内专家分月排行榜第一
2014年8月 其他开发语言大版内专家分月排行榜第一
2014年6月 其他开发语言大版内专家分月排行榜第一
-
-
算法我不会，但是可以利用Python的字典，大的数据N创建字典，value设置为0，小数据n也变为字典，value设置为1，用小数据集的逐个update大的数据集，最后，重复ID的value变为1，找到了，只用执行n次update，N+n次查询，几万条数据，2秒内搞定吧！数组操作比字典慢。
我算法很菜，还在慢慢自学ing，这个得看大神愿不愿意分享。
-
等级
本版专家分：22957勋章
-
-
红花
2016年3月 其他开发语言大版内专家分月排行榜第一
2015年6月 其他开发语言大版内专家分月排行榜第一
2015年5月 其他开发语言大版内专家分月排行榜第一
2015年4月 其他开发语言大版内专家分月排行榜第一
2015年3月 其他开发语言大版内专家分月排行榜第一
2015年1月 其他开发语言大版内专家分月排行榜第一
2014年12月 其他开发语言大版内专家分月排行榜第一
2014年11月 其他开发语言大版内专家分月排行榜第一
2013年9月 其他开发语言大版内专家分月排行榜第一
2013年8月 其他开发语言大版内专家分月排行榜第一
2013年7月 其他开发语言大版内专家分月排行榜第一
-
-
黄花
2013年10月 其他开发语言大版内专家分月排行榜第二
2012年2月 其他开发语言大版内专家分月排行榜第二
-
-
蓝花
2013年11月 其他开发语言大版内专家分月排行榜第三
2012年4月 其他开发语言大版内专家分月排行榜第三
2011年6月 其他开发语言大版内专家分月排行榜第三
-
-
python有set类．
In [4]: import random
In [7]: set1 = set(random.sample(range(100000), 20000))
In [8]: set2 = set(random.sample(range(100000), 20000))
In [9]: %timeit len(set1.intersection(set2))
1000 loops, best of 3: 880 µs per loop
In [10]: len(set1.intersection(set2))
Out[10]: 3963
- 并行编程simd_单核并行编程：SIMD组件性能提升和基准测试
并行编程simd 当事情变得如此复杂时，您通常知道这是英特尔的错。 来源： Pixabay SIMD汇编指令使您可以在单个内核中并行处理大量数据。 我已经说了一次 ，我会再说一遍：编程是我们最不可思议的事情。 Shell...
- 多核CPU硬件架构介绍
SISD、MIMD、SIMD、MISD计算机的体系结构 1.计算平台介绍 Flynn于1972年提出了计算平台的Flynn分类法，主要根据指令流和数据流来分类，共分为四种类型的计算平台，如下图所示： 单指令流单数据流机器（SISD）...
- 【整理】SISD、MIMD、SIMD、MISD计算机的体系结构的Flynn分类法
1. 计算平台介绍 Flynn于1972年提出了计算平台的Flynn分类法，主要根据指令流和数据流来分类，共分为四种类型的计算平台，如下图所示： 单指令流单数据流机器（SISD） ...早期的计算机都是SISD
- 计算机组成原理
如大家所知计算机硬件由控制器、运算器、存储器、输入、输出五部分组成。其中运算器和控制器是我们常说的CPU。它们分别负责不同的功能。 【计算机系统结构】 首先对计算机系统结构进行划分下。按照Flynn...
- SISD、MIMD、SIMD、MISD计算机的体系结构的Flynn分类法
1. 计算平台介绍 Flynn于1972年提出了计算平台的Flynn分类法，主要根据指令流和数据流来分类，共分为四种类型...SISD机器是一种传统的串行计算机，它的硬件不支持任何形式的并行计算，所有的指令都是串行执行。...
- 深入浅出计算机组成原理：SIMD：如何加速矩阵乘法？（第27讲）
一、引子 上一讲里呢，我进一步为你讲解了CPU里的“黑科技”，分别是超标量（Superscalar）技术和超长指令字（VLIW）技术。 超标量（Superscalar）技术能够让取指令以及指令译码也并行进行；在编译的过程，超长...
- 单核并行编程：SIMD组件性能提升和基准测试
来源： Pixabay SIMD汇编指令使您可以在单个内核中并行处理大量数据。 我已经说过一次 ，我会再说一遍：编程是我们最不可思议的事情。 Shell命令就像小型Cantrip，Python脚本对Tulpas几乎没有帮助。 我们甚至有自己...
- 从多核到众核处理器
其实“多核”这个词已经流行很多年了，世界上第一款商用的非嵌入式多核处理器是2002年IBM推出的POWER4。当然，多核这个词汇的流行主要归功与AMD和Intel的广告，Intel与AMD的真假四核之争，以及如今的电脑芯片市场上...
- 推荐阅读的多核编程技术书籍
, 作 者： （孟加拉）阿克特（Akhter，S.），（美）罗伯茨（Roberts，J.） 著，李宝峰，富弘毅，李韬 译本书从原理、技术、经验和工具等方面为读者提供关于多核程序设计技术的全方位解释。本书由三大部分组成：第...
- 推荐阅读的多核编程技术书籍--intel
, 作 者： （孟加拉）阿克特（Akhter，S.），（美）罗伯茨（Roberts，J.） 著，李宝峰，富弘毅，李韬 译 本书从原理、技术、经验和工具等方面为读者提供关于多核程序设计技术的全方位解释。本书由三大部分...
- 多线程技术和多核技术
多核与多线程都是提升处理器处理性能的重要手段，如今多核处理器随处可见，多线程处理器似乎鲜有提及，其实多线程并不是一个新鲜的概念，在很多地方也有广泛的应用。到底多核处理器与多线程处理两者之间有何差异？各...
- 《多核程序设计技术》读书笔记一
诺伊曼体系结构的计算机和图灵机 冯·诺伊曼体系结构的计算机工作原理： 在计算机内部使用二进制、计算机采用五大模块：控制器、运算器、存储器、输入输出设备。 程序能够存储并自动执行。数据通过输入设备进入...
- 并行计算简介和多核CPU编程Demo
tag:多线程,并行计算,OpenMP,多核编程,工作线程池 ( 2008.01.19 更新 鉴于读者反映代码阅读困难，重新改写了文章和实现，使文章更易读 ) ( 2007.09.04 更新 把用事件控制的线程启动更新为临界区的实现 ) ...
- 多核体系结构的发展
所以并行计算技术应用而生，通过增加计算机中物理处理器的数量，能够有效地利用线程的并行性，实现真正意义上的并行执行。 并行计算机是由一组处理单元组成的，通过相互之间的通信与协作，以更快的速度共同完成一项...
- 多核编程技术好书推荐
多核程序设计技术——通过软件多线程提升性能 , 作 者： （孟加拉）阿克特（Akhter，S.），（美）罗伯茨（Roberts，J.） 著，李宝峰，富弘毅，李韬 译 本书从原理、技术、经验和工具等方面为读者提供关于多核...
- 多核技术
1、首先要区别多核与多处理器：即多核CP
- 武汉大学“多核架构及编程技术”精品课程理论教学
1945年，美国研制了世界上第一台全自动电子数字计算机ENIAC（Electronic Numerical Integrator and Calculator，即电子数字积分器和计算器），是美国奥伯丁武器试验场为了满足计算弹道需要而研制成的，于1946年2月...
- 多核多线程复习
北京科技大学天津学院17级多核多线程复习总结 lesson 1 1. 弗林分类 2. 进程与线程区别、线程状态 3. 片上多核处理器 4. 计算机硬件工艺发展顺序
- 并行计算简介和多核CPU编程Demo
2006年是双核的普及年，双核处理器出货量开始超过单核处理器出货量；2006年的11月份Intel开始供货4核；AMD今年也将发布4核，并计划今年下半年发布8核； 按照Intel一个文档所说:"假定22纳米处理时帧上...
- 基于多核的并行编程
概述 摩尔定律 当价格不变时，集成电路上课容纳的晶体管数目，约每隔18个月便会增加一倍。 第一章 ...并行（Concurrency）：two or more progress are in progress at the same time. 当系统有一个以上CPU时，则...
- 内存墙，多核CPU的终结者？
多核处理器是当今计算领域的主导，而多核芯片则遍布从苹果的iPad到富士通K超级计算机的各种平台。2005年，由于功耗将单核CPU的时钟速度限制在3GHz，英特尔推出了双核的酷睿（Core 2 Duo）处理器。从那时起，多核CPU...
- 《计算机体系结构：量化研究方法》5th 学习笔记
新体系结构：多核和GPU 关于第五版 两个极端：以移动电话和平板电脑到的个人移动设备PMD 为客户端，以提供云计算的仓库级计算机为服务器 另一条主线：数据级并行DLP（许多数据项允许同时操作），任务级并行TLP...
- ARM Cortex系列(A8/A9/A15/A7) NEON多媒体处理SIMD引擎优化
Cortex-A9的NEON多媒体处理器是基于ARMv7的SIMD（Single Instruction Multiple Data）和向量浮点VFPv3（Vector Floating-Point）指令集的，在具体的芯片设计中NEON组件是可选的，NEON处理器是面向音频、视频编解码器...
- Premiere2019破解版
文档内包含pr2019版本的破解版，只需在解压后点击Setup.exe即可一键安装。
- 华为机考题库(全）
包括招聘的机考题，及面试过程中会问到的数据结构的相关内容，排序算法全部包括并且有改进算法，一点点改进可以让你表现的与众不同，如果好的话给点评价吧亲
- 回流焊炉温曲线
回流焊炉温曲线及设定 1、良好的回流焊接的效果所需的要素 2、RSS炉温曲线的设定 3、RTS炉温曲线的设定 4、有铅与无铅炉温曲线的分析对比
- SAP FIORI开发入门
【课程目标】打造一个简单实用的 SAP FIORI 入门开发课程，帮助广大 SAP 技术人员或者希望进入 SAP 技术领域的人打开一扇门。 【课程形式】视频教程 + PDF 参考资料 【学习门槛】零门槛，无需任何额外知识 【作者微信】eksbobo 【如何入群】使用购买课程的 ID 作为请求信息，发送到作者的微信添加好友，作者会把您拉入到这门课程的微信群中。 打造一个简单实用的 SAP FIORI 入门开发课程，帮助广大 SAP 技术人员或者希望进入 SAP 技术领域的人打开一扇门。
- Matlab数据降维工具箱
Matlab Toolbox for Dimensionality Reduction Matlab数据降维工具箱，包括几乎所有的数据降维方法：PCA、LDA、ICA、MDS、Isomap、LandmarkIsomap、LLE、LLC、Laplacian、HessianLLE、LTSA、DiffusionMaps、KernelPCA、KernelLDA、SNE、NPE、LPP、SPE、LLTSA、SPCA、CCA、MVU、FastMVU、AutoEncoder、AutoEncoderEA
- 一维热传导方程数值解法及matlab实现
含matlab程序，个人感觉很有帮助，在研究传热学的可以下来看看
- 2020数学建模A题
2020数学建模国赛A题及其数据 2020数学建模国赛A题及其数据2020数学建模国赛A题及其数据 2020数学建模国赛A题及其数据 2020数学建模国赛A题及其数据 2020数学建模国赛A题及其数据 2020数学建模国赛A题及其数据