两个很大的csv文件，想要用python进行对比，筛选相同项并进行某一项的提取

weixin_49369834 2020-07-20 03:09:45

我现在有两个很大的csv文件，想要进行对比。打个比方，我现在有两个表，想用表二的第一列去对比表一的第一列，对比上之后想将表一对比上的第二列复制在表二对应行的后面，代码该怎么写呢？希望把步骤详细写一下

...全文

1806 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

程序员雍正 2021-11-05

打赏
举报

回复



```python

import pandas as pd
import numpy as np

```

程序员雍正 2021-11-05

打赏
举报

回复

难搞啊

weixin_48014430 2021-02-20

打赏
举报

回复

hxd搞懂了吗

weixin_49369834 2020-07-21

打赏
举报

回复

表1大约100多万行，表二2000多行~
大神可以写一下代码嘛？实在弄不明白

陈年椰子 2020-07-20

打赏
举报

回复

两个表大概多少行。如果是上千万，建议先按列1分割。然后逐个读取，把表一转为字典，遍历表二，匹配字典，写入表二。

一般我们把数据库或者试算表导出后都会变成，分割值或|分割值的方式，每一行是数据库里的一行内容，如果此时我们需要使用Python将导出之后的文件进行导入并实现字段化，那么一般由两种方式（下文环境为Python3.7） 1、使用，作为分割符，获得一个数组然后根据下标进行获取，如下 for line in file: infos = line.split(',') ......

当我们手头有两个文件，一个文件很大，有很多很多行，而另一个文件比较小，现在我们需要根据两个文件的一个公共列，取出大文件中同时出现在两个文件中的那些行的所有数据。数据解释如下：文件A：文件B：我想从文件A中取出“汉字井号”分别为“孤东7-27更5186”、“孤东7-23斜更186”、“孤东7-6平1”这几行的资料。代码如下 # -*- coding: utf-8 -*- "

用Python中的os和numpy库对文件夹及处理数据后得到的文件进行分类保存: import numpy as np import os for m in range(699,0,-35): cur_dir='F:/2019_09_01/' folder_name='partdata_0_' if not os.path.exists(cur_dir+folder_name+str(m)): o...

1.1 read_csv读取csv文件。csv文件在生物信息学中用的很广泛，其是一种普通文本编码格式的文件，很容易在linux系统及本地查看，只不过该文件各字符之间使用逗号(,)分隔。读取命令为在上述的例子中，index_col="rank"用于将rank一列信息作为index，skiprows=[1]表示读入文件是跳过第二行内容，此时应该注意的是读取时如果有表头，skiprows=[0]表示表头...

我的每个文件大概长这样，我需要做的呢，对B排序，按排序结果赋权值，按A属性对所有文件的权值结果求和、求平均之类的，手操并不难，也就是把两个文件里面的B11对应的C加一下……B12对应的C加一下…… 但我有几百个这样的文件，我可能需要一个不辞辛苦的会计，pandas帮我解决了问题，使用pandas对具有条件的重复行进行了求和。

37,720

社区成员

34,239

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章