去除两个文件的重复行

蜡笔小新啦 2013-03-05 05:16:24

去除两个文件中的重复行，请问大家有什么好的算法吗？

...全文

254 5 打赏收藏举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

蜡笔小新啦 2013-03-06

打赏
举报

回复

都没有人回答啊。还是用hash做的。毕竟查找很快。

蜡笔小新啦 2013-03-06

打赏
举报

回复

有人说用两个list来存储这两个文件的内容，然后一个一个的比较。感觉性能不好。

蜡笔小新啦 2013-03-06

打赏
举报

回复

同时要保证行原来的顺序。我是这么做的： hash<string,long>h1; hash<long,string>h2; 先将File1的内容读入h1中，long就存储行的index，再读File2的内容到h1中，long就存储行的index*-1；读的时候要先用h1.contains(str),看是否存在，若存在则射h1[str]=0; 然后在将h1中long大于0的读入到h2中，这样就将long从小到大自动排序了。然后遍历h2写入到file1中去。这样我分析了下性能。读File1到h1中。contains（）查找可以认为是O(1)，当然实际要大于，但是绝对是一个小的常量，插入到h1中也可以认为是O(1)；那么，时间性能就是行数*2*O(1) File2也一样。这样加起来时间代价还是不算高的。

蜡笔小新啦 2013-03-06

打赏
举报

回复

两个都要做。 eg: File1: abc def ghi abc File2: ddd abc jjj jjj 那么将两个文件中的abc都去掉。File2中的jjj也要去掉。

Hony杨 2013-03-06

打赏
举报

回复

去掉两个文件中重复的行和去掉一个文件中重复的行有啥区别？

输入文件1 输入文件2 #!/usr/bin/perl print ‘hello’; use warnings; use strict; my %hash; my $source_file = “read.log”; #去重文件1 my $source_file1 = “read1.log”; #去重文件2 my KaTeX parse error: Expected 'EOF', got '#' at position 28: …"num2.txt"; #̲结果文件 open (FILE…s

在使用sort命令以默认的式对文件的行进行排序，使用的命令如下： sort testfile sort 命令将以默认的方式将文本文件的第一列以ASCII 码的次序排列，并将结果输出到标准输出。 $ cat test1 # test1文件原有排序 test test test hello world world hello hello $ sort test1 #排序结果 ...

第一：两个文件的交集，并集前提条件：每个文件中不得有重复行 1. 取出两个文件的并集(重复的行只保留一份) 2. 取出两个文件的交集(只留下同时存在于两个文件中的文件) 3. 删除交集，留下其他的行 1. cat file1 file2 | sort | uniq > file3 2. cat file1 file2 | sort | uniq -d > file3 3. cat f...

Linux下对文件进行按行排序：sort 与 uniq 命令简介 Linux|May 24, 2015|linux sort命令可针对文本文件的内容，以行为单位进行排序。其基本语法格式为： sort [-bcfMnrtk][源文件][-o 输出文件] 参数： -b 忽略每行前面开始出的空格字符。 -c 检查文件是否已经按照顺序排序。 -f 排序时，忽略大小写...

1. 找出两个文件相同的行如果每一行中没有空格或者tab等，可以这么做#!/bin/shfor i in $(cat $1); do for j in $(cat $2); do echo $i $j donedone | awk $1==$2 {print $1} 程序输出

数据结构与算法

33,026

社区成员

35,334

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章