python去重的问题-CSDN论坛

python去重的问题

其他开发语言 > 脚本语言(Perl/Python)

收藏回复

[问题点数：40分，结帖人ganmu]

⋅vb.net如何用默认打开txt的程序打开一个.html后缨的文件 ⋅python去重的问题 ⋅关于python处理文本的一个问题 更多帖子 关注私信空间博客 ganmu 等级 本版专家分：0 结帖率 83.33%

各位大侠,现在我有一些文本如下



1	xx	1.1.1.1	 2012-09-10 08:22:03

我现在要把第二行和第三行是一样的数据去掉,请问python该如何写？

2012-09-10 13:32:11

点赞只看楼主引用举报楼主收起

展开阅读全文

⋅vb.net如何用默认打开txt的程序打开一个.html后缨的文件 ⋅python去重的问题 ⋅关于python处理文本的一个问题 更多帖子 关注私信空间博客 ganmu 等级 本版专家分：0: 注意下的是中间的空格并不标准，有可能是2个空格，也有可能是三个

2012-09-10 13:33:55

点赞只看TA 引用举报 #1得分 0

⋅vb.net如何用默认打开txt的程序打开一个.html后缨的文件 ⋅python去重的问题 ⋅关于python处理文本的一个问题 更多帖子 关注私信空间博客 ganmu 等级 本版专家分：0: 求大神们指教啊。

2012-09-10 13:44:37

点赞只看TA 引用举报 #2得分 0

⋅vb.net如何用默认打开txt的程序打开一个.html后缨的文件 ⋅python去重的问题 ⋅关于python处理文本的一个问题 更多帖子 关注私信空间博客 ganmu 等级 本版专家分：0: python模块的人这么少啊。

2012-09-10 15:54:43

点赞只看TA 引用举报 #3得分 0

⋅祝CSDNer新年好！ ⋅祝大家新年快乐！ ⋅每秒钟写入10万条记录，能做到不？ 更多帖子 关注私信空间博客 bugs2k 等级 本版专家分：20292 勋章 红花 2014年7月其他开发语言大版内专家分月排行榜第一 2013年3月其他开发语言大版内专家分月排行榜第一 2013年2月其他开发语言大版内专家分月排行榜第一 2013年1月其他开发语言大版内专家分月排行榜第一 2012年10月其他开发语言大版内专家分月排行榜第一 2012年9月其他开发语言大版内专家分月排行榜第一 2012年8月其他开发语言大版内专家分月排行榜第一 2012年7月其他开发语言大版内专家分月排行榜第一 2012年6月其他开发语言大版内专家分月排行榜第一 2012年5月其他开发语言大版内专家分月排行榜第一: 不太明白意思？数据格式如何

2012-09-10 16:05:05

点赞只看TA 引用举报 #4得分 0

⋅vb.net如何用默认打开txt的程序打开一个.html后缨的文件 ⋅python去重的问题 ⋅关于python处理文本的一个问题 更多帖子 关注私信空间博客 ganmu 等级 本版专家分：0: 数据格式是

1    xx    1.1.1.1     2012-09-10 08:22:03
2    xssx121    2.1.1.1     2012-09-10 08:22:03
3    x1sx2    3.1.1.1     2012-09-10 08:22:03
4    xx    1.1.1.1     2012-09-10 08:22:03

就是文本的，以空格为分隔符，空格可能不标准。也有\t之类的。

2012-09-10 16:20:36

点赞只看TA 引用举报 #5得分 0

⋅python: Vista 下文件关联 ⋅Python + Tkinter 窗口缩放问题 更多帖子 关注私信空间博客 angel_su 等级 本版专家分：27583 勋章 红花 2014年2月其他开发语言大版内专家分月排行榜第一 2013年6月其他开发语言大版内专家分月排行榜第一 2013年5月其他开发语言大版内专家分月排行榜第一 2013年4月其他开发语言大版内专家分月排行榜第一 2012年3月其他开发语言大版内专家分月排行榜第一 黄花 2014年8月其他开发语言大版内专家分月排行榜第二 2014年7月其他开发语言大版内专家分月排行榜第二 2014年5月其他开发语言大版内专家分月排行榜第二 2014年4月其他开发语言大版内专家分月排行榜第二 2014年3月其他开发语言大版内专家分月排行榜第二 2014年1月其他开发语言大版内专家分月排行榜第二 2013年12月其他开发语言大版内专家分月排行榜第二 2013年11月其他开发语言大版内专家分月排行榜第二 2013年3月其他开发语言大版内专家分月排行榜第二 2012年5月其他开发语言大版内专家分月排行榜第二 2012年4月其他开发语言大版内专家分月排行榜第二 2010年10月其他开发语言大版内专家分月排行榜第二 2010年9月其他开发语言大版内专家分月排行榜第二 蓝花 2013年9月其他开发语言大版内专家分月排行榜第三 2012年6月其他开发语言大版内专家分月排行榜第三: 一般把特征数据段放进字典或集合里，进行查询比较....

2012-09-10 16:41:46

点赞只看TA 引用举报 #6得分 5

⋅直播 - react+redux+react-router 制作 SPA 入门教程 ⋅你们怎么学会原型链的。 ⋅实时库存系统大家有什么设计思路么。 更多帖子 关注私信空间博客 版主 qq120848369 等级 本版专家分：2288 勋章 红花 2013年8月 Linux/Unix社区大版内专家分月排行榜第一 2012年11月 Linux/Unix社区大版内专家分月排行榜第一 2012年10月 Linux/Unix社区大版内专家分月排行榜第一 2012年9月 Linux/Unix社区大版内专家分月排行榜第一 2012年7月 Linux/Unix社区大版内专家分月排行榜第一 2012年6月 Linux/Unix社区大版内专家分月排行榜第一 2012年5月 Linux/Unix社区大版内专家分月排行榜第一 2011年11月 Linux/Unix社区大版内专家分月排行榜第一 黄花 2013年6月 Linux/Unix社区大版内专家分月排行榜第二 2013年5月 Linux/Unix社区大版内专家分月排行榜第二 2013年3月 Linux/Unix社区大版内专家分月排行榜第二 2013年1月 Linux/Unix社区大版内专家分月排行榜第二 2012年12月 Linux/Unix社区大版内专家分月排行榜第二 2012年8月 Linux/Unix社区大版内专家分月排行榜第二 2011年12月 Linux/Unix社区大版内专家分月排行榜第二 2011年10月 C/C++大版内专家分月排行榜第二 2011年10月 Linux/Unix社区大版内专家分月排行榜第二 蓝花 2012年6月 C/C++大版内专家分月排行榜第三 2012年6月 PHP大版内专家分月排行榜第三 2012年5月 C/C++大版内专家分月排行榜第三 2012年3月 Linux/Unix社区大版内专家分月排行榜第三 2012年2月 Linux/Unix社区大版内专家分月排行榜第三 2011年11月 C/C++大版内专家分月排行榜第三

[liangdong@bb-browser-test00.vm.baidu.com py_project]$ python3 main.py 

[['2', 'xssx121', '2.1.1.1', '2012-09-10', '08:22:03'], ['3', 'x1sx2', '3.1.1.1', '2012-09-10', '08:22:03'], ['4', 'xx', '1.1.1.1', '2012-09-10', '08:22:03']]

[liangdong@bb-browser-test00.vm.baidu.com py_project]$ cat main.py 

# python version:3.2

# -*- coding:utf-8 -*-



result = {}



with open('xxx.data', 'r') as stream:

        for line in stream:

                fields = line.split()

                key = fields[1:3]

                result["__UGLY_TOKEN__".join(key)] = fields



print(list(iter(result.values())))

[liangdong@bb-browser-test00.vm.baidu.com py_project]$ cat xxx.data 

1 xx 1.1.1.1 2012-09-10 08:22:03

2 xssx121 2.1.1.1 2012-09-10 08:22:03

3 x1sx2 3.1.1.1 2012-09-10 08:22:03

4 xx 1.1.1.1 2012-09-10 08:22:03

[liangdong@bb-browser-test00.vm.baidu.com py_project]$ cat main.py 

# python version:3.2

# -*- coding:utf-8 -*-



result = {}



with open('xxx.data', 'r') as stream:

        for line in stream:

                fields = line.split()

                key = fields[1:3]

                result["__UGLY_TOKEN__".join(key)] = fields



print(list(iter(result.values())))

这个意思?

2012-09-10 16:44:14

点赞只看TA 引用举报 #7得分 30

⋅祝CSDNer新年好！ ⋅祝大家新年快乐！ ⋅每秒钟写入10万条记录，能做到不？ 更多帖子 关注私信空间博客 bugs2k 等级 本版专家分：20292 勋章 红花 2014年7月其他开发语言大版内专家分月排行榜第一 2013年3月其他开发语言大版内专家分月排行榜第一 2013年2月其他开发语言大版内专家分月排行榜第一 2013年1月其他开发语言大版内专家分月排行榜第一 2012年10月其他开发语言大版内专家分月排行榜第一 2012年9月其他开发语言大版内专家分月排行榜第一 2012年8月其他开发语言大版内专家分月排行榜第一 2012年7月其他开发语言大版内专家分月排行榜第一 2012年6月其他开发语言大版内专家分月排行榜第一 2012年5月其他开发语言大版内专家分月排行榜第一: 是第2列和第3列？还是
第2行和第3行？

2012-09-10 17:02:31

点赞只看TA 引用举报 #8得分 5

⋅vb.net如何用默认打开txt的程序打开一个.html后缨的文件 ⋅python去重的问题 ⋅关于python处理文本的一个问题 更多帖子 关注私信空间博客 ganmu 等级 本版专家分：0: 第二列和第三列都和下面的行相同则去重

2012-09-10 17:22:33

点赞只看TA 引用举报 #9得分 0

⋅国庆第二天 ⋅【散分】国庆无假，祖国万岁！ ⋅阔别一年，做了个项目，忙成狗了，得空散个分 更多帖子 关注私信空间博客 惟愿莲心不染尘 等级 本版专家分：3920 勋章 蓝花 2015年6月扩充话题大版内专家分月排行榜第三 2015年4月扩充话题大版内专家分月排行榜第三: 按行存到列表里（或字典，考虑到还要打印，存字典有点罗嗦，如果没效率要求用列表就好了），存的时候和列表内的值比较一次，是否有重复的，有重复就不用添加了，最后再依次打印列表中的数据就可以了

2012-09-10 17:46:30

点赞只看TA 引用举报 #10得分 0

1 2

收起

收藏回复

ganmu

等级：

关注私信 TA的帖子

Java并发之CyclicBarrier-栅栏详解: 上一篇我们介绍了CountDownLatch，和我今天要说的栅栏CyclicBarrier有相似之处，笔者英语烂，给读者翻译成读音：塞克勒柏瑞尔，莫笑。它允许一组线程互相等待，直到到达某个公共屏障点，然后释放这些线程，重置屏障...

Java-CyclicBarrier的简单例子: 内容：一个主任务等待两个子任务，通过CyclicBarrier的await()实现，此Runnable任务在CyclicBarrier的数目达到后，所有其它线程被唤醒前被执行。 public class CyclicBarrierTest { class MainTask implements ...

CyclicBarrier的使用: cyclicBarrier 是让一组线程到达一个屏障（也可能是同步点）时被阻塞，直到最后一个线程到达屏障时，屏障才会开门，所有别屏障拦截的线程才会继续执行常规使用 package com.thread.concurrent; import java.util....

【JAVA】java中CyclicBarrier的用法，实例讲解: 在涉及一组固定大小的线程的程序中，这些线程必须不时地互相等待，此时 CyclicBarrier 很有用。因为该 barrier 在释放等待线程后可以重用，所以称它为循环的 barrier。上一篇的程序是用CountDownLatch实现的，...

请简要说明一下JAVA中cyclicbarrier和countdownlatch的区别分别是什么？: 请简要说明一下JAVA中cyclicbarrier和countdownlatch的区别分别是什么？ CountDownLatch /** * CountDownLatch * A synchronization aid that allows one or more threads to wait until * a set of operations ...

谈谈java中CyclicBarrier的用法: 谈谈java中CyclicBarrier（栅栏）的用法

JAVA中cyclicbarrier和countdownlatch的区别分别是什么？: CyclicBarrier是一个同步的辅助类，允许一组线程相互之间等待，达到一个共同点，再继续执行。应用场景： CountDownLatch这个类能够使一个线程等待其他线程完成各自的工作后再执行。例如，应用程序的主线程希望在...

Java中的CyclicBarrier: CyclicBarrier的字面意思...和CountDownLatch一样，CycliBarrier构造方法中接受一个int型的数值，代表屏障拦截的线程数量，每个线程调用await方法告诉CyclicBarrier我已经到达了屏障，然后当前线程被阻塞。示例代...

Java中CyclicBarrier的用法: CyclicBarrier和CountDownLatch一样，都是关于线程的计数器。用法略有不同，测试代码如下： public class TestCyclicBarrier { private static final int THREAD_NUM = 5; public static class Worker...

java中CyclicBarrier的使用: java中CyclicBarrier的使用 CyclicBarrier是java 5中引入的线程安全的组件。它有一个barrier的概念，主要用来等待所有的线程都执行完毕，然后再去执行特定的操作。假如我们有很多个线程，每个线程都计算出了一些...

java CyclicBarrier的使用: 之前介绍了java中latch的主要作用和使用方法。本文主要介绍CyclicBarrier的使用方法。首先Barrier（栅栏）是用来做线程间控制的，它能够等待指定数目的线程都准备好后，再执行一些操作（当然也可以在这些线程前做...

JAVA中CyclicBarrier的使用，以及小Demo: **CyclicBarrier：**字面意思是“可循环使用的屏障”。它的作用是：让一组线程到达一个屏障（也可以叫同步点）时被阻塞，直到最后一个线程到达屏障时，屏障才会开门，所有被屏障拦截的线程才会继续干活，线程进入...

Java中CyclicBarrier的用法和示例: public class TestCyclicBarrier { private static final int THREAD_NUM = 5; public static class WorkerThread implements Runnable{ CyclicBarrier barrier; public WorkerThread(CyclicBarr

Java并发编程：CountDownLatch、CyclicBarrier和Semaphore: 在java 1.5中，提供了一些非常有用的辅助类来帮助我们进行并发编程，比如CountDownLatch，CyclicBarrier和Semaphore，今天我们就来学习一下这三个辅助类的用法。　以下是本文目录大纲：　一.CountDownLatch用法 ...

Java并发编程之CyclicBarrier详解: CyclicBarrier可以使一定数量的线程反复地在栅栏位置处汇集。当线程到达栅栏位置时将调用await方法，这个方法将阻塞直到所有线程都到达栅栏位置。如果所有线程都到达栅栏位置，那么栅栏将打开，此时所有的线程都将被...

Java之CyclicBarrier使用: 在涉及一组固定大小的线程的程序中，这些线程必须不时地互相等待，此时 CyclicBarrier 很有用。因为该 barrier 在释放等待线程后可以重用，所以称它为循环的 barrier。 2、使用场景：需要所有的子任务都完成...

Java中同步器CyclicBarrier: 在本文中，我们将在并发方案中探索此实现。 2. Java并发 - 同步器该的java.util.concurrent包中包含几类，以帮助管理的一组互相协作的线程。其中一些包括： CyclicBarrier Phaser CountDownLatch Exchanger S...

Java CyclicBarrier、CountDownLatch 和 wait() 有什么不同？: CyclicBarrier CountDownLatch 和 wait() 有什么不同？解答。。。

Java的CyclicBarrier（循环屏障）: 在读Java编程思想的时候，书中提到如果需要实现多个线程合并除了使用join方法，还可以使用CyclicBarrier。翻看CyclicBarrier的API的时候，发现对应的介绍中一个很使用的Demo就动手敲了一遍。这里发出来，便于以后...

Java并发之CyclicBarrier: Java并发之CyclicBarrier 目录 Java并发之CyclicBarrier 1、CyclicBarrier 是什么： 2、CyclicBarrier类方法： 2.1. CyclicBarrier(int parties) 2.2. CyclicBarrier(int parties, Runnable barrierAction) ...

java之 CyclicBarrier 原理: JUC回顾之-CyclicBarrier底层实现和原理 http://www.cnblogs.com/200911/p/6060195.html JUC回顾之-CyclicBarrier底层实现和原理 1.CyclicBarrier 字面意思是可循环（Cyclic）使用的屏障（Barrier）。它要做的事情是...

java中CyclicBarrier简单入门使用: 在涉及一组固定大小的线程的程序中，这些线程必须不时地互相等待，此时 CyclicBarrier 很有用。因为该 barrier 在释放等待线程后可以重用，所以称它为循环的 barrier。 CyclicBarrier 支持一个可选的 Runnable...

JAVA中的CyclicBarrier和CountDownLatch简单使用: CyclicBarrier的使用场景：假设有一个这样的场景，每个线程代表一个运动员，当运动员准备好后才能一起出发，只要有一个人没有准备好，那么大家都需要等待，代码案例 import java.io.IOException; import java.util...

Java8基础之CyclicBarrier类的使用: 1.查看api 该类用于规定指定执行完毕的线程数量，当指定的线程数量完成的时候就会执行最后的线程 ... * @description 用于测试CyclicBarrier类 * @author hy * @date 2019-10-12 */ public ...

Java并发32:CyclicBarrier的基本方法和应用场景实例: CyclicBarrier，是JDK1.5的java.util.concurrent并发包中提供的一个并发工具类。所谓Cyclic即循环的意思，所谓Barrier即屏障的意思。所以综合起来，CyclicBarrier指的就是循环屏障，虽然这个...

java中CyclicBarrier的简单用法: CyclicBarrier 和 CountDownLatch 都可以用来让一组线程等待其它线程。与 CyclicBarrier 不同的是，CountdownLatch 不能重新使用。 1 public class TestCyclicBarrier { 2 3 private static final int THREAD_...

CyclicBarrier源码分析-java8: CyclicBarrier支持一个可选的Runnable命令(实例化构造函数中的参数)，该命令在最后一个线程到达后，但在任何线程被释放之前被执行。这一命令在barrier处只会被执行一次,且由最后到达的线程完成。这种屏障行为对...

Java8 CountDownLatch与CyclicBarrier 源码解析: 二、CyclicBarrier 1、使用 2、定义 3、实现 4、使用synchronized改造 CountDownLatch表示一个计数器，子线程执行完毕会调用countDown方法将计数减1，主线程调用await，一直等待直到计数变成0或者等待超时了，...

Java的CountDownLatch和CyclicBarrier的理解和区别: CountDownLatch和...CountDownLatch和CyclicBarrier都是java.util.concurrent包下面的多线程工具类。从字面上理解，CountDown表示减法计数，Latch表示门闩的意思，计数为0的时候就可以打开门闩了。Cycli...

Java中CyclicBarrier的简单使用及原理: 2019独角兽企业重金招聘Python工程师标准>>> ...

相关热词 c# 按行txt c#怎么扫条形码 c#打包html c# 实现刷新数据 c# 两个自定义控件重叠 c#浮点类型计算 c#.net 中文乱码 c# 时间排序 c# 必备书籍 c#异步网络通信