-
本版专家分：0结帖率 85.29% -
去除两个文件中的重复行，请问大家有什么好的算法吗？
-
本版专家分：0
-
都没有人回答啊。
还是用hash做的。毕竟查找很快。
-
本版专家分：0
-
去掉两个文件中重复的行
和
去掉一个文件中重复的行
有啥区别？
-
本版专家分：0
-
两个都要做。
eg:
File1:
abc
def
ghi
abc
File2:
ddd
abc
jjj
jjj
那么将两个文件中的abc都去掉。File2中的jjj也要去掉。
-
本版专家分：0
-
同时要保证行原来的顺序。
我是这么做的：
hash<string,long>h1;
hash<long,string>h2;
先将File1的内容读入h1中，long就存储行的index，
再读File2的内容到h1中，long就存储行的index*-1；
读的时候要先用h1.contains(str),看是否存在，若存在则射h1[str]=0;
然后在将h1中long大于0的读入到h2中，
这样就将long从小到大自动排序了。然后遍历h2写入到file1中去。
这样我分析了下性能。
读File1到h1中。contains（）查找可以认为是O(1)，当然实际要大于，但是绝对是一个小的常量，
插入到h1中也可以认为是O(1)；那么，时间性能就是 行数*2*O(1)
File2也一样。
这样加起来时间代价还是不算高的。
-
本版专家分：0
-
有人说用两个list来存储这两个文件的内容，
然后一个一个的比较。
感觉性能不好。
- 对比两个文件去掉另外一个的重复记录
对比两个文件去掉另外一个的重复记录. 比如A.TXT 内容：1 2 3 比如B.TXT 内容：1 4 那就连个AB对比就去掉B的1字符
- TXT文本文件去除重复行工具绿色版.rar
如果一个文本文件中有很多重复的行，使用人工去除即麻烦又费时间，可以借助这个小工具帮你轻松去重复行的小工具，效率要高太多了很高，1万行的TXT文本,只需数秒就能完成。去除文本文件中重复的数据,如果文本文件里有...
- 多个txt合并后，去掉重复的行数
将多个TXT文件合并成一个文本文件，并且可以自动过滤掉重复的行数。
- 易语言极速删除重复文本行
以数据源方式读入文本. 使用SQL命令提取不重复的文本行 10000行文本,200毫秒内处理完毕.
- 易语言源码去掉文本中的重复文字.rar
易语言源码去掉文本中的重复文字.rar 易语言源码去掉文本中的重复文字.rar 易语言源码去掉文本中的重复文字.rar 易语言源码去掉文本中的重复文字.rar 易语言源码去掉文本中的重复文字.rar 易语言源码去掉文本中...
- 每个单词一行，并在单词后输出该单词出现的个数，两个字段之间用逗号分隔。约定单词仅由英文字母组成，单词...
对读入的某个文本文件input.txt中，拆出英文单词，输出一个按字典顺序排列的单词表，结果输出在文本文件output.txt中，每个单词一行，并在单词后输出该单词出现的个数，两个字段之间用逗号分隔。约定单词仅由英文...
- 合并所有csv文件并去除表头的python代码.zip
python3，该代码能自动合并目录下所有csv文件，并自动去除表头
- 文本文件工具V1.1箱绿色版(文本排序打乱分割合并去重复)
文本工具箱V1.1，包含文本文件的排序、打乱、分割、合并、去重复功能。实用的文本文件小助手。程序运行需要VB6运行时库。
- CSV文件合并
CSV文件合并,可以节省时间，快速合并CSV文件，简化操作
- TXT文件批量处理工具.rar
14、合并：普通合并，就是正常的多个文本文件进行合并，按照行的合并，第一个文件的最后一行，和第二个文件第一行不在同一行，是两个连续的行。以此类推。(好像是废话) 15、合并+数据：多个文件合并的时候直接添加...
- 在ArcGIS中如何删除重复的点要素
在ArcGIS中如何删除重复的点要素,第一种方法是借助ArcGIS...第三种方法是新近补上去的，主要思路和FME处理一样：先将点的坐标按 "x,y" 的格式写入一个字段，然后对这个字段进行重复项检查<两步都是使用field Calculate>
- 亿彩文本文件批量处理器 v1.0
本软件提供了45大类共几百种针对txt文本文件的全文或者每一行的批量处理或者批量替换操作，是您经常...43.找出两个txt文档中内容相同的部分并提取出来顺序保存 44.批量随机位置随机插入内容 45.剔除列表文件中重复数据
- 亿彩文本文件批量处理器 v1.0.rar
本软件提供了45大类共几百种针对txt文本文件的全文或者每一行的批量处理或者批量替换...43.找出两个txt文档中内容相同的部分并提取出来顺序保存 44.批量随机位置随机插入内容 45.剔除列表文件中重复数据 ……………
- 统计指定的文本文件（英文）中，每个单词的出现频率，输出按字典序排列的单词频度表。
本程序通过C#语言基于VS2013进行编写，旨在统计指定的文本文件（英文）中，每个单词的出现频率，输出按字典序排列的单词频度表。
- 数据库原理实验报告整合
（2）“数据库文件”列表中包括两行，一个是数据文件，一个是日志文件。通过单击下面相应的按钮可以添加或删除相应的数据文件。 逻辑名称：指定该文件的文件名。 文件类型：用于区别当前文件是数据文件还是...
- coreutils-8.32.tar.gz
合并两个文件的行 link 创建从指定文件到指定名称的硬链接 ln 创建文件之间的硬/软(符号)连接 logname 显示当前用户的登录名 ls 列出指定目录的所有内容。缺省是将文件和子目录按字母顺序排列。 md5sum ...
- 经典bat批处理集合
| 提取两个文件内容的不同之处.cmd | 显示只有指定个数字符的行.cmd | 显示某两个字符及其之间的字符.cmd | 显示随机的5个数.cmd | 查找偶数行内容.cmd | 查找行中第一个数字串.cmd | 检测IP格式是否正确.cmd | 每6...
- 经典批处理集合，内有详细脚本，！！！！！！文件夹 PATH 列表
| 提取两个文件内容的不同之处.cmd | 显示只有指定个数字符的行.cmd | 显示某两个字符及其之间的字符.cmd | 显示随机的5个数.cmd | 查找偶数行内容.cmd | 查找行中第一个数字串.cmd | 检测IP格式是否正确.cmd | 每6...
- 你必须知道的495个C语言问题
1.24 我在一个文件中定义了一个extern数组，然后在另一个文件中使用，为什么sizeof取不到数组的大小？ 声明问题 1.25 函数只定义了一次，调用了一次，但编译器提示非法重声明了。 *1.26 main的正确定义是什么？...
- 《Excel实战技巧精粹》示例文件 光盘文件
│ │ 底端标题行.JPG │ │ 底端标题行1.PNG │ │ 技巧113 在同一页上打印不连续的区域.xls │ │ 技巧116 在报表的每一页上打印公司Logo.xls │ │ 技巧117 在页眉或页脚增加分隔线.xls │ │ 技巧119 在...