python 正则表达式处理50w行数据

Abysman 2016-03-25 10:46:25

涉及用正则表达式判断中英文数字及相应的词频，速度为什么这么慢，是因为电脑原因还是就是如此？是否有更好的替代方法？
谢谢

...全文

171 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

「已注销」 2016-03-25

打赏
举报

回复

你可以尝试用awk sed试一试罗

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤早岁那知世事艰，中原北望气如山。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【金光灿灿】问了一个Pandas处理字符串数据的问题。问题如下：亲们问个问题：现在有1列数据，约42w行，字段名为PatientID，字段内长度不一，经统计共有下列5种，示例如下，...

写在前面批量处理 pandas.DataFrame 行列数据 20200212，效率不怎么高代码实现方法1: 按列格式化处理数据 import re import numpy as np import pandas as pd """ 只要字符串中的中文，数字 """ def hq_zw_zm_sz(ss): if ss is not None and (ss is no...

文章目录一. 什么是正则表达式二. 正则表达式的基础知识（一）原子1. 普通字符2. 特殊字符和元字符3. 非打印字符4. 通用字符5. 原子表（二）元字符1. 任意匹配元字符2. 边界限制元字符3. 限定符4. 模式选择符5. 模式单元符（三）修饰符（四）贪婪模式与非贪婪模式三. 正则表达式常见的函数1. match()2. search()3. findall()4. compile()5. sub()四. 实例——爬取猫眼电影排行一. 什么是正则表达式 什么是正则表达式？简单来说，正则表达式是一些

大家好，我是Imp Sue.一个梦想要成为data sciense的菜鸟。最近开始着手写知乎，记录下成长点滴，废话不多说，开冲。最近有了新任务，产品经理需要我在存量客户数据中查找出双卡客户，并呈现相关的客户业务办理明细，找出其中办理了58元+套餐的客户，用于业务分析。业务细节大家可以忽略，简单来说，我就是拿到了两份数据。第一份就是存量客户的数据明细，里面记录着**移动公司地市范围内所有客户以及向关...

用python按行处理文件内容，并输出到另外一个文件：import osimport pymysqlimport jsonimport threadingimport redef get_full_read_file_name(name):read_file = read_dic + read_file_prefix + str(name) + read_file_suffixprint("rea...

37,737

社区成员

34,208

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章