求助,大文件分割问题

kttwq 2021-02-26 11:32:00
现在我有一个大文件几百G,在这个大文件里面查找特殊的二个字符字符串,比如 a,b字符串。现在要在这个大文件找到a与b对应的位置。a与b都是成对出现的。现在想找到a与b对应的位置。把文件写出来。现在遇到的问题是大文件操作不能直接read,或者告诉a或b的对应的位置。有什么好的办法解决
...全文
65 4 打赏 收藏 转发到动态 举报
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
kttwq 2021-02-26
  • 打赏
  • 举报
回复
谢谢大家,,问题已经解决,,通过正则表达式匹配就行,,用read太慢
隐身 2021-02-26
  • 打赏
  • 举报
回复
这样可以吗?

with open('bigfile.bin') as fr:
    while True:
        dat = fr.read(1024)
        if dat is None:
            break
        a_pos = dat.find('a')
        
cclxpp123 2021-02-26
  • 打赏
  • 举报
回复
不知道你要找的字符串具体什么情况, 如果长度小于某个值, 每次读取前把指针向左移动这个长度就可以覆盖分割的情况了.
cclxpp123 2021-02-26
  • 打赏
  • 举报
回复
每次读取一部分, 除了判断读取的部分有无符合, 还要判断上一部分的结尾和夏一部分的开头是否有符合但被分割的情况.

37,719

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧