3.2w+
社区成员
菜鸟前来请教一个 排序 问题～～求指导
前两天看到有个人问如何对4000 0000（即40M行）的文本文件进行排序并且去重。
想了想，感觉没有什么好方法，故此来请教下各位大侠。
（简要说说算法和时间复杂度和内存占用就可以了，不用详细分析。给个参考链接更佳）。
想了想，感觉没有什么好方法，故此来请教下各位大侠。
（简要说说算法和时间复杂度和内存占用就可以了，不用详细分析。给个参考链接更佳）。
...全文
当前发帖距今超过3年，不再开放新的回复
发表回复
wide288 2012-01-29
导入到数据库再操作不是更好
cnmhx 2012-01-28
对于海量数据，太大规模的数据只能分割成多个小规模数据，逐个实现小规模排序。
但不同时计算。要能同时计算(譬如你有256G的内存！)，还分什么？
然后将各个小规模的排序结果，逐个插入合并。
但不同时计算。要能同时计算(譬如你有256G的内存！)，还分什么？
然后将各个小规模的排序结果，逐个插入合并。
jiantheone 2012-01-23
BindingSource.Sort = "id" '排序
超级大笨狼 2012-01-23
先分段，再每段分别排序去重，再归并。
4千万行算什么啊。 O(N)一分就变成子问题了。
排序可以做到N*logN
分段N=∑n
(∑n)*log(∑n) >> max(n*logn)
大规模数据缩小成多个小规模数据同时计算，这就是云计算，网格计算速度快的原因
不知道这个数学原理，都是伪云
4千万行算什么啊。 O(N)一分就变成子问题了。
排序可以做到N*logN
分段N=∑n
(∑n)*log(∑n) >> max(n*logn)
大规模数据缩小成多个小规模数据同时计算，这就是云计算，网格计算速度快的原因
不知道这个数学原理，都是伪云
fxltsbl 2012-01-21
如果是整形数字的话，可以考虑用bloom filter，时间复杂度，O(n)，空间占不了多少，1亿条8位的整形也就是十几兆；不过是自动去重（想不去重都难，）；可以网上搜搜
参考：http://hi.baidu.com/iseeyou100/blog/item/21f4c53be06bdcde9e3d62a5.html
参考：http://hi.baidu.com/iseeyou100/blog/item/21f4c53be06bdcde9e3d62a5.html
SmallBoat2000 2012-01-20
这个要取决于你用什么机器。如果是在服务器端计算的话，一般像样点服务器都有128G以上的内存，这样的话完全可以装到内存中，例如：vector<string>中，再排序：sort()。最后再遍历去重。
或者直接用set<string>来装，这样就连排序和去重都省了。
或者直接用set<string>来装，这样就连排序和去重都省了。
绝伤残影 2012-01-05
用快速排序吧！
tic_ 2012-01-04
吾生也有涯,而知无涯
接分
接分
just_swizard 2012-01-04
这两天好像很多什么1亿个QQ号排序之类的……
数据库咋做的你也咋做就肯定没错，而且B+树算法啊什么的本身并不算复杂，当然如果你没有更简单的做法的话……
数据库咋做的你也咋做就肯定没错，而且B+树算法啊什么的本身并不算复杂，当然如果你没有更简单的做法的话……
Hadoop学习从零到一系列课程（3）：YARN和MapReduce精讲 Hadoop零基础教程，该课程主要为大家详细讲解YARN和MapReduce的构造，以及YARN和MapReduce的入门使用。通过本节课程带您一步步熟悉和掌握Hadoop基础。
SpringBoot菜鸟教程（一） 首先我自己先创建了一个web项目，但是发现好多依赖包需要下载，果断创建了maven项目。方便了好多。顺便告诉大家可以安装一个springboot插件哦。（可以去官网根据自己使用的eclipse版本下载插件哦，我这里提供一个...
2020届校招浦发银行 信息科技 创新岗 面经及历年汇总~ 浦发银行 信息科技岗 面经...1、即兴演讲（结构化面试 3面试官对6个学生）：每人随机一题，思考两分钟后，回答三分钟 今年即兴演讲环节已取消！！！ 2、上机测试：三道编程题，较为基础，在线编译器只有C、C++和Ja...
PR菜鸟入门 -- PR下载安装 一、下载下载：PremierePro CC 2017下载：QuickTime二、破解安装参看：Premiere Pro_CS5 正版 快速安装以及破解需要注意的是，需要先安装 QuickTime。提示无法打开键:unknown\components参看：...
Hadoop入门和大数据应用 2009年便开始利用Hadoop构建商业级大数据系统，是国内该领域早的一批人之一，负责设计过多个基于Hadoop的大数据平台和分析系统。2011年合著出版《Hadoop开源云计算平台》。在自然语言处理领域申请过一项发明专利。新...
C语言系列之 链表与相关操作 尹成老师带你步入 C 语言的殿堂，讲课生动风趣、深入浅出，全套视频内容充实，整个教程以 C 语言为核心，完整精彩的演练了数据结构、算法、设计模式、数据库、大数据高并发检索、文件重定向、多线程同步、进程通讯、...
C语言入门到高阶--顺序、选择与循环 尹成老师带你步入 C 语言的殿堂，讲课生动风趣、深入浅出，全套视频内容充实，整个教程以 C 语言为核心，完整精彩的演练了数据结构、算法、设计模式、数据库、大数据...帮助大家快速入门C语言，一步步的成为C语言高手。
Docker集群管理三剑客 Docker Compose是一个编排多容器分布式部署的工具，提供命令集管理容器化应用的完整开发周期，包括服务构建，启动和停止。 讲师：杜航，Websense云基础架构组开发经理，专注于Openstack和Docker，灵雀云用户。
Python爬虫教程-00-写在前面 鉴于好多人想学Python爬虫，缺没有简单易学的教程，我将在CSDN和大家分享Python爬虫的学习笔记，不定期更新 基础要求 Python 基础知识 Python 的基础知识，大家可以去菜鸟教程进行...菜鸟教程python高级 ht...
我是如何自学C语言的（一个菜鸟的学习路） 这个问题也是博主之前遇到过的，这里推荐大家一个教程，手把手教你制作自己的Arduino电路板，制作电路的全过程都会涉及，包括但不限于：画原理图库和封装库，绘制原理图，绘制Pcb,打印Pcb，焊接元器件，烧录...
C语言系列之 字符串相关算法 尹成老师带你步入 C 语言的殿堂，讲课生动风趣、深入浅出，全套视频内容充实，整个教程以 C 语言为核心，完整精彩的演练了数据结构、算法、设计模式、数据库、大数据高并发检索、文件重定向、多线程同步、进程通讯、...
C语言入门到高阶--字符串、类型转换与运算符 尹成老师，带你步入 C 语言的殿堂，讲课生动风趣、深入浅出，全套视频内容充实，整个教程以 C 语言为核心，完整精彩的演练了数据结构、算法、设计模式、数据库、...帮助大家快速入门C语言，一步步的成为C语言高手。
51单片机蓝牙小车 51单片机蓝牙小车（是我大二做的一个课程设计，小菜鸟一个，欢迎大家指正和参考。） 摘要 本次设计选择基于蓝牙遥控的多功能智能小车为对象。选用STC98C52RC单片机作为主控芯片,电机驱动采用L293N ,...
proteus学习教程大全 proteus学习资源大全，热衷于分享资料，资源共享，这个proteus也是收集了很久的资料，一直以来学习嵌入式就很枯燥，幸好有一起能够学习和资源共享的小伙伴共同交流技术上的痛点和难点，同样也希望更多人加入：...
网盘分享包下载安装 华为模拟器 ENSP；网盘链接永久有效 因为我刚刚下载了一个 virtualbox 6.0.3 的，然后再安装 ensp 的时候，说它未识别我安装了 virtualbox！所以我建议大家还是先不要安装这个软件！以免到时候还得卸载重装 virtualbox！！！我是菜鸟，咱也不知道咱也不...
