python 正则表达式处理50w行数据

Abysman 2016-03-25 10:46:25

涉及用正则表达式判断中英文数字及相应的词频，速度为什么这么慢，是因为电脑原因还是就是如此？是否有更好的替代方法？
谢谢

...全文

172 1 打赏收藏举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

「已注销」 2016-03-25

打赏
举报

回复

你可以尝试用awk sed试一试罗

本文介绍了如何在大量数据的PandasDataFrame中精确提取年度信息，提供了四种不同的方法，包括替换特殊字符、使用split函数、正则表达式等，并强调了在交流群中分享问题和代码的重要性。

本文介绍了使用Python的Pandas库高效批量处理DataFrame中的数据的方法。包括按列格式化处理数据和通过自定义函数遍历格式化处理数据两种方式，为数据预处理提供实用指南。

本文详细介绍了正则表达式的基础知识，包括原子、元字符、修饰符和贪婪模式与非贪婪模式。同时，讲解了Python中正则表达式常用函数如match(), search(), findall(), compile()和sub()的使用方法，并给出了实例。文章以爬取猫眼电影排行为例，展示了正则表达式在爬虫中的应用。 111437346,10297286,Python实现西游记章节拼音标注,['Python', '数据处理', '文本处理', '拼音标注', '自动化']

博主接到任务，需在存量客户数据中找出双卡且办理58元+套餐的客户。因数据量大，8G内存游戏本直接读取会崩溃，选择用Python处理。通过建立字典定义字段类型、分块读取合并数据，连接双卡客户与存量客户数据，再用正则表达式提取套餐价格筛选出目标客户。

该博客介绍了一个使用Python实现的文件处理脚本，通过读取指定目录下的文件，按行处理内容，将处理后的结果写入新的文件中。脚本采用了多线程的方式，每处理1000行数据时会插入一个sleep指令，以避免过于频繁的磁盘写入。此外，脚本还包含了文件路径的构建和文件是否存在等检查逻辑。

37,737

社区成员

34,208

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章