37,719
社区成员
发帖
与我相关
我的任务
分享请发表友善的回复…
发表回复
yuanyuanmmm 2010-01-13
- 打赏
- 举报
问题解决了 用的5楼的办法
notax 2010-01-09
- 打赏
- 举报
15万行的数据, 不算多，python 顶的住
如果象是apache log 的话，用sort，uniq, awk 也很方便
如果象是apache log 的话，用sort，uniq, awk 也很方便
thy38 2010-01-09
- 打赏
- 举报
既然存入数据库，那就直接用SQL好了。要是不用SQL，也就只有排序或者HASH了。
angel_su 2010-01-09
- 打赏
- 举报
自己处理就用hash吧，查找时间复杂度趋近O(1)应该是最快的...
jiuchang 2010-01-08
- 打赏
- 举报
linux下有一个命令sort -u filename可以把一个文件排序并去重
然后可以和原来的文件行数做较就知道有没有重复的行了
这个方法不用自己写代码，应该最简单，15万行一会就跑完了
然后可以和原来的文件行数做较就知道有没有重复的行了
这个方法不用自己写代码，应该最简单，15万行一会就跑完了
CDSoftwareWj 2010-01-08
- 打赏
- 举报
select DISTINCT xxx from xxx
Orz
Orz
