37,743
社区成员
发帖
与我相关
我的任务
分享python怎么增加线程跑得更快，大神在哪里
# -*- coding: UTF-8 -*-
import re
fo = open("1.txt", "r");
co = open("2.txt", "r");
colines = co.readlines();
for line in fo.readlines():
line = line.strip();
matchObj = re.search( line, "%s" % colines, re.M | re.I);
if matchObj:
print (line);
fo.close();
co.close();处理的数据太多啦，请问怎么在这个源码的基础上增加线程，让他飞起来，求大神帮助
...全文
请发表友善的回复…
发表回复
穿袜子的猫和穿靴子的狗 2019-05-21
- 打赏
- 举报
关键看这2个文件有多大。
一大一小，在大文件中搜寻小文件行？
差不多大，找两个文件中相同的行？
[/quote]
A文件大概260W行 两个字的词到4个字的词，大小在25M估计。
B文件事25-30个字一行，几万行的样子，不一定，也会修改，
主要是从看B文件里出现的A文件的词有哪些，
notback 2019-05-21
- 打赏
- 举报
关键看这2个文件有多大。
一大一小，在大文件中搜寻小文件行？
差不多大，找两个文件中相同的行？
穿袜子的猫和穿靴子的狗 2019-05-21
- 打赏
- 举报
说中了，re的操作中，如果目标为str，则pattern必须为str。如果目标为bytes,则pattern必须为bytes 。明白问题所在了吧？
用r读出来的是str，用rb读出来的是bytes[/quote]
大佬能不能在我的代码上改一下 感觉应该是格式错误的意思吗？但是不知道怎么改
大佬能不能在我的代码上改一下 感觉应该是格式错误的意思吗？但是不知道怎么改notback 2019-05-21
- 打赏
- 举报
说中了，re的操作中，如果目标为str，则pattern必须为str。如果目标为bytes,则pattern必须为bytes 。明白问题所在了吧？
用r读出来的是str，用rb读出来的是bytes
穿袜子的猫和穿靴子的狗 2019-05-21
- 打赏
- 举报
是的呢，太多词了 手动过不过来，想看看哪些重复的，又不会写 到处抄代码
notback 2019-05-21
- 打赏
- 举报
你这个代码估计调试无法通过。
因为 bytes的 re 必须用bytes的patten
再改改re的，"%s"这有问题
如果我记忆没错的话，%s再python3.x的某个x后不支持。另外，搜索bytes，patten 必须用
bytes 也就是 b""
你这个程序要干嘛？ 判断fo的行是否存在于co中吗？
因为 bytes的 re 必须用bytes的patten
再改改re的，"%s"这有问题
如果我记忆没错的话，%s再python3.x的某个x后不支持。另外，搜索bytes，patten 必须用
bytes 也就是 b""
你这个程序要干嘛？ 判断fo的行是否存在于co中吗？
穿袜子的猫和穿靴子的狗 2019-05-21
- 打赏
- 举报
只能给你个大概思路
这种情况直接在原文件上操作是不大可能的，这时就需要第三个文件C，把内容写到C文件里，不需要做修改的可以直接写进去，需要修改的部分修改后写进去（也就是if里面的内容）。
如果匹配到以后想把某个词删掉，那可以直接用replace函数直接替换成空就可以了
[/quote]好的多谢大佬，我还是从基础入门学习吧 都看不懂呢
穿袜子的猫和穿靴子的狗 2019-05-21
- 打赏
- 举报
# -*- coding: UTF-8 -*-
import re
fo = open("2.txt", "rb");
co = open("n1.txt", "rb");
colines = co.readlines();
for line in fo.readlines():
line = line.strip();
matchObj = re.search( line, "%s" % colines, re.M | re.I);
if matchObj:
print (line);
fo.close();
co.close();穿袜子的猫和穿靴子的狗 2019-05-21
- 打赏
- 举报
Traceback (most recent call last):
File "qq.py", line 12, in <module>
matchObj = re.search( line, "%s" % colines, re.M | re.I);
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python37\lib\re.py", line 183, in search
return _compile(pattern, flags).search(string)
TypeError: cannot use a bytes pattern on a string-like objectnotback 2019-05-21
- 打赏
- 举报
以这个例子来说，
如果txt文件不大，用线程根本无意义
如果txt文件很大，把r改成rb，速度会快上好几倍。
优化方向性错误。
超大文件读取，可以看看我以前写的一个博文。
再python中，线程一般用于io密集型。进程用于cpu密集型。但python的文件读取操作本身效率已经非常高了。
re的字符串操作效率也很高。
所以我说以本例来说，增加线程完全无必要。
如果txt文件不大，用线程根本无意义
如果txt文件很大，把r改成rb，速度会快上好几倍。
优化方向性错误。
超大文件读取，可以看看我以前写的一个博文。
再python中，线程一般用于io密集型。进程用于cpu密集型。但python的文件读取操作本身效率已经非常高了。
re的字符串操作效率也很高。
所以我说以本例来说，增加线程完全无必要。
穿袜子的猫和穿靴子的狗 2019-05-21
- 打赏
- 举报
你这个程序结构，再source中删除比较麻烦，因为你source是作为一个整体在被搜索，
删Source思路：
用 sourceSt.find来查找key，这样可以搜索到第一次出现key的位置。然后用这个位置数对sourceSt做切片，然后查询切片内\r\n的数量，基本上可以定位行数，保存这些行数，最后遍历一遍source.txt文件，就能删除文档中包含了key的行。
删Key思路：
遍历的时候，如果查到不输出到NewKey.txt,如果查不到，输出到NewKey.txt
输出到txt文本：
循环前定义一个list
rsltList = []
print(key.decode('gbk'))
rsltList.append(key.decode("GBK"))
notback 2019-05-21
- 打赏
- 举报
你这个程序结构，再source中删除比较麻烦，因为你source是作为一个整体在被搜索，
删Source思路：
用 sourceSt.find来查找key，这样可以搜索到第一次出现key的位置。然后用这个位置数对sourceSt做切片，然后查询切片内\r\n的数量，基本上可以定位行数，保存这些行数，最后遍历一遍source.txt文件，就能删除文档中包含了key的行。
删Key思路：
遍历的时候，如果查到不输出到NewKey.txt,如果查不到，输出到NewKey.txt
输出到txt文本：
循环前定义一个list
rsltList = []
print(key.decode('gbk'))
rsltList.append(key.decode("GBK"))
穿袜子的猫和穿靴子的狗 2019-05-21
- 打赏
- 举报
with open("source.txt", "rb")as f:
source = f.readlines()
sourceSt = b"".join(source)
with open("key.txt", "rb") as f:
for key in f:
key = key.strip()
if key in sourceSt:
print(key.decode('gbk'))
notback 2019-05-21
- 打赏
- 举报
with open("source.txt", "rb")as f:
source = f.readlines()
sourceSt = b"".join(source)
with open("key.txt", "rb") as f:
for key in f:
key = key.strip()
if key in sourceSt:
print(key.decode('gbk'))
穿袜子的猫和穿靴子的狗 2019-05-21
- 打赏
- 举报
太刺激了，这个弄完我也要好好学习python，非常非常感谢大佬耐心解答，
穿袜子的猫和穿靴子的狗 2019-05-21
- 打赏
- 举报
哇过了半天key 好多字报错。。。贼尴尬哈哈哈 黑字都不认识
notback 2019-05-21
- 打赏
- 举报
写错了
print(f"error key:{key.decode('gbk')}")
notback 2019-05-21
- 打赏
- 举报
import re
with open("source.txt", "rb")as f:
source = f.readlines()
sourceSt = b"".join(source)
with open("key.txt", "rb") as f:
for key in f:
key = key.strip()
try:
mObj = re.search(key, sourceSt,re.M|re.I)
except Exception:
print(f"error key:{key.decode("gbk")}")
if mObj:
print(key.decode("gbk"))
notback 2019-05-21
- 打赏
- 举报
import re
with open("source.txt", "rb")as f:
source = f.readlines()
sourceSt = b"".join(source)
with open("key.txt", "rb") as f:
for key in f:
key = key.strip()
try:
mObj = re.search(key, sourceSt,re.M|re.I)
except Exception:
print(f"error key:{key}")
if mObj:
print(key.decode("gbk"))
穿袜子的猫和穿靴子的狗 2019-05-21
- 打赏
- 举报
如果#28的速度不理想，先开任务管理器看看，cpu占用多少。
如果运行的时候cpu占满了，估计你得考虑的是算法优化而不是开线程什么的。
如果cpu没占满，得考虑的是进程优化而不是线程优化。[/quote]cpu占用原来的代
哇这，有点麻烦，之前是因为内码什么的错误过滤过一次，很多那种看不到的字符，电话的图案啊什么的，这过滤不知道该怎么过滤了，不过感觉真的是快了很多，修改一下这个key多跑会看看 就显示出这十几个词的速度就觉得很快 大佬太厉害了！
加载更多回复（22）
