双11狂欢大促

盲盒赢 定制羽绒服

开启惊喜盲盒，抽取你的专属好礼

— 惊喜奖品抢先看 —

超级年卡50元券

周边70元券

手机支架

一拖三数据线

雨伞

运动毛巾

电动牙刷

VIP月卡

机械键盘

定制羽绒服

超级年卡50元券

周边70元券

手机支架

一拖三数据线

雨伞

运动毛巾

电动牙刷

VIP月卡

机械键盘

定制羽绒服

pandas中比较两个dataframe并输出差异部分？

2023-06-30 20:26:41 1.6k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

MyGaoRen 墨衍会员 · AI 创作全网分发关注 + 加入社区

Python-Pandas之两个Dataframe的差异比较昨天在外网找到一个比较dataframe的好库，叫datacompy，它的优点有： 1、可以把对比后的信息详情打印出来，比如列是否相等，行是否相等； 2、在数据中如果有不相等列，那么就只比较相同的列； 3、可以设置绝对差值和相对差值，比如我们比较有浮点数的数据时，设置下绝对差值为0.01，后面的一系列微小的值就忽略了； 4、在数据报告中，每一列的数据类型、不相等数量、最大差值和空值都详细列出来了； 5、可以把不相等的列单独取出来，取出来就是一个dataframe，可以查看具体哪些是不一样的；下阅读详情

有两个文件，格式一样，每行有两列，一列标签，一列对应数字。两边行数不同，两边标签大部分相同。需要找出两边差异，输出到一个新文件。

使用OS命令先sort ，在diff -u 1.txt 2.txt可以合并一个新文件，再基于"+""-"关键字grep过滤。

用python中用 pandas 对比，转化两个dataframe对比并输出差异部分，结果总是不符合要求。

文件1.txt

e39aa0582fb3d25b42a77fb9cb09472d 99
e39aa0582fb3d25b42a77fb9cb094721 99
e39aa0582fb3d25b42a77fb9cb094722 98
e39aa0582fb3d25b42a77fb9cbc94722 99
e39aa0582fb3d25b42a77fb9cb094723 99
e39aa0582fb3d25b42a77fb9cb094724 99
e39aa0582fb3d25b42a77fb9cb094725 99

文件2.txt

e39aa0582fb3d25b42a77fb9cb09472d 99
e39aa0582fb3d25b42a77fb9cb094721 99
e39aa0582fb3d25b42a77fb9cb094722 99
e39aa0582fb3d25b42a77fb9cb094723 99
e39aa0582fb3d25b42a77fb9cb094724 98
e39aa0582fb3d25b42a77fb9cb094734 98
e39aa0582fb3d25b42a77fb9cb094725 99

希望能对比两个文件不同，并输出差异，希望效果如下，按照uuid关联两个文件，仅显示有差异的

                           uuid1    num1  
e39aa0582fb3d25b42a77fb9cb094722    98.0
e39aa0582fb3d25b42a77fb9cbc94722    99.0
e39aa0582fb3d25b42a77fb9cb094724    99.0
e39aa0582fb3d25b42a77fb9cb094734     NaN

结果最好类似如下

                           uuid1  num1_x  num1_y
e39aa0582fb3d25b42a77fb9cb094722    98.0    99.0
e39aa0582fb3d25b42a77fb9cbc94722    99.0     NaN
e39aa0582fb3d25b42a77fb9cb094724    99.0    98.0
e39aa0582fb3d25b42a77fb9cb094734     NaN    98.0

使用pandas dataframe的compare,diff无法达到效果，以下是代码样例

import pandas as pd

fd1=pd.read_table('1.txt', sep=' ',header=None)
fd1.columns=['uuid1','num1']
fd2=pd.read_table('2.txt', sep=' ',header=None)
fd2.columns=['uuid1','num1']


merge1 = pd.merge(fd1,fd2,how='outer',on='uuid1')

compare1=fd2.compare(fd1, align_axis=1, keep_shape=True, keep_equal=True)

merge1['diff']=merge1['num1_x']-merge1['num1_y']

...全文