python去重的问题

[ganmu]

各位大侠,现在我有一些文本如下

1	xx	1.1.1.1	 2012-09-10 08:22:03

我现在要把第二行和第三行是一样的数据去掉,请问python该如何写？

[ganmu]

注意下的是中间的空格并不标准，有可能是2个空格，也有可能是三个

[ganmu]

求大神们指教啊。

[ganmu]

python模块的人这么少啊。

[bugs2k]

不太明白意思？数据格式如何

[ganmu]

数据格式是

1 xx 1.1.1.1 2012-09-10 08:22:03
2 xssx121 2.1.1.1 2012-09-10 08:22:03
3 x1sx2 3.1.1.1 2012-09-10 08:22:03
4 xx 1.1.1.1 2012-09-10 08:22:03

就是文本的，以空格为分隔符，空格可能不标准。也有\t之类的。

[angel_su]

一般把特征数据段放进字典或集合里，进行查询比较....

[qq120848369]

[[e-mail] py_project]$ python3 main.py 
[['2', 'xssx121', '2.1.1.1', '2012-09-10', '08:22:03'], ['3', 'x1sx2', '3.1.1.1', '2012-09-10', '08:22:03'], ['4', 'xx', '1.1.1.1', '2012-09-10', '08:22:03']]
[[e-mail] py_project]$ cat main.py 
# python version:3.2
# -*- coding:utf-8 -*-

result = {}

with open('xxx.data', 'r') as stream:
        for line in stream:
                fields = line.split()
                key = fields[1:3]
                result["__UGLY_TOKEN__".join(key)] = fields

print(list(iter(result.values())))
[[e-mail] py_project]$ cat xxx.data 
1 xx 1.1.1.1 2012-09-10 08:22:03
2 xssx121 2.1.1.1 2012-09-10 08:22:03
3 x1sx2 3.1.1.1 2012-09-10 08:22:03
4 xx 1.1.1.1 2012-09-10 08:22:03
[[e-mail] py_project]$ cat main.py 
# python version:3.2
# -*- coding:utf-8 -*-

result = {}

with open('xxx.data', 'r') as stream:
        for line in stream:
                fields = line.split()
                key = fields[1:3]
                result["__UGLY_TOKEN__".join(key)] = fields

print(list(iter(result.values())))

这个意思?

[bugs2k]

是第2列和第3列？还是
第2行和第3行？

[ganmu]

第二列和第三列都和下面的行相同则去重

[惟愿莲心不染尘]

按行存到列表里（或字典，考虑到还要打印，存字典有点罗嗦，如果没效率要求用列表就好了），存的时候和列表内的值比较一次，是否有重复的，有重复就不用添加了，最后再依次打印列表中的数据就可以了

[zengna_com]

你这个序号删掉后要连续吗

[luotuo512]

鄙视张口要代码不思考的人

[Gloveing]

[Quote=引用 12 楼 的回复:]
鄙视张口要代码不思考的人
[/Quote]
++
先对字符串根据空格split -》 使用一个列表记录已经出现过的字符串 -》for循环，已经在列表中的不加入列表，不输出；不在列表中的则加入列表，输出

[ganmu]

你怎么知道我没思考过？我觉得你不愿意回答就不要乱说.

[ganmu]

[Quote=引用 12 楼 的回复:]

鄙视张口要代码不思考的人
[/Quote]

你怎么知道我没思考过？我觉得你不愿意回答就不要乱说.

有本事写个出来看看,只知道说别人不是，自己也写不出来,那也是废物。