Python数据清洗实战入门

[eg0u9174]

课程名称	适应人群
Python数据清洗实战入门	零基础学员或者有一定基础学员、大中院校学生、在职从事数据分析相关工作以及打算转行Python数据分析人员、学员熟悉Anaconda的安装和常用数据结构

本次课程主要以真实的电商数据为基础，通过Python详细的介绍了数据分析中的数据清洗阶段各种技巧和方法。

[eg0u9174]

@ybds8 <p>刚才打错字了哈，可以使用loc方法，或者类似于这样的 df[df['A'] !=表达式] ，这个是伪代码哈，或者你可以使用dropna(how='all') 可以将这一行  ，所有列全部为空的都删除这一行</p>

[eg0u9174]

@ybds8 <p>可以使用loc方法，比如类似于这样的 df[df['A'] !=表达式] ，这个是伪代码哈，或者你可以使用dropna(how='all') 可以将这一行  ，所有列全部为空的都删除这一行</p>

[ybds8]

请问一下老师，我写了合并文件夹下所有excel文件到一个一个Excel表，但是不知道如何去除不需要的行（如有些行只有行号，其他列都为空值，如何查询b c 等指定列无内容就删除？）

[eg0u9174]

@ybds8 <p>同学，你发的代码我在我这边看到的是一群很乱的代码，全部都是在一起，方便截图吗</p> <p> </p>

[ybds8]

import tkinter as tk from tkinter import filedialog import os import pandas as pd import glob root = tk.Tk() root.withdraw() # 选择文件夹位置 filelocation = os.path.normpath(filedialog.askdirectory(initialdir=os.getcwd())) lst=[] # 读取文件夹下所有文件（xls和xlsx都读取） for i in glob.glob(filelocation + "\\\\" + "*.*"): if os.path.splitext(i)[1] in [".xls", ".xlsx"]: lst.append(pd.read_excel(i)) print(lst) # 保存合并后的excel文件 writer = pd.ExcelWriter(filedialog.asksaveasfilename(title = "保存", initialdir = filelocation, defaultextension = "xlsx", filetypes = [("Excel 工作簿", "*.xlsx"), ("Excel 97-2003 工作簿", "*.xls")])) pd.concat(lst).to_excel(writer, 'all', index=False) writer.save() print('\n%d个文件已经合并成功！'% len(lst))

[Leona2079]

能问一下老师，电商的数据可以从哪里获得呢? 用于学习。

[eg0u9174]

@fwherr <p>有点不明白你的意思，不明白你想问什么</p>

[fwherr]

老师请问：使用Python编程语言完成指定数据集中噪声数据的清洗；

[eg0u9174]

@fwherr <p>不好意思，有点不明白你的意思，怎样表示，我不懂什么意思，这句代码的含义取数据的第3行到第7行，python是从0开始的</p>

[fwherr]

老师，df.iloc[2:7]是怎样表示

[eg0u9174]

@fwherr <p>你之前有安装过其他版本的python吗，或者你通过 anaconda Prompt进去安装试试</p>

[fwherr]

老师怎样解决版本问题，我用xlrd==2.0.1，我下载了pip install xlrd==1.2.0，但导不进我的pcharm，请问怎样解决

[eg0u9174]

@a337320687 <p>针对行做操作，建议可以看看帮助文档，或者你可以自己造一个数据，看看0和1的区别就明白了</p>

[a337320687]

np.sort axis = 0 不应该是按照列排序吗？

[eg0u9174]

@a337320687 <p>是这样的，在python种连接数据库有很多个库都可以实现，要看自己的习惯。并不是说一定要用哪一个？</p>

[a337320687]

@a337320687 是因为写入数据库 df.to_sql中 con必须使用sqlalchemy

[a337320687]

直接使用pymysql 就可以连接，为什么还要用sqlalchemy？

[eg0u9174]

@小猪佩奇志大兵 <p>恩恩</p> <p> </p>

[小猪佩奇志大兵]

数据异常值这节课，6分28秒，这里公式大小方向写反了，逻辑上是要判断是否有[‘Price’]小于箱型图的下须，第116行代码应该为 any(df['Price'] < Q1 - 1.5*IQR)

[b15843444433]

@江南野栀子 在不，你是程序员吗

[zanbohong]

@江南野栀子 是的，里面没有源码，麻烦解决一下

[eg0u9174]

@江南野栀子 <p>同学，你联系一下客服，实在不行，私信我</p>

[江南野栀子]

我下载的课件不能打开，大家也是这样吗

[eg0u9174]

@Sanmu_mumu <p>同学你好，你是什么问题，具体那一节课程的。</p> <p> </p>

[Sanmu_mumu]

@Sanmu_mumu 哦~我着急了留言了

[Sanmu_mumu]

老师，下届判断那个不是 df['Price'] < Q1 - 1.5 IQR嘛。。。

[eg0u9174]

@心田有垢生荒草 <p>同学，我们代码都是全部展示，没有半截半截呀，而且我们提供全部配套数据和课件，都是B站上没有的呀，你说的太散了，能不能举个例子，这个课程上线2年了，第一次有学员说太散了</p>

[心田有垢生荒草]

这老师讲的太散了吧，代码展示的也半截半截的，还不如去B站看免费的讲的好

[eg0u9174]

@roja_15 <p>同学你好，就在课程的左小角，你看看，如果找不到，你问问客服，因为课程资料都是他们上传的，我主要负责录制课程和问题解答，你这边有任何课程上的问题，都可以问，我第一时间看到后回复你</p>

[roja_15]

请问课件怎么下载？

[eg0u9174]

@luckywenzhe <p>同学，什么问题，我这边没有看到</p>

[luckywenzhe]

2022年8月12日17:26:38

[weixin_47671824]

在学习课程了，课件资料等等，在哪里下载啊？ 以及哪里有中文版的python的numpy pandas的文档啊？

[weixin_47671824]

在学习课程了，课件资料等等，在哪里下载啊？ 以及哪里有中文版的python的numpy pandas的文档啊？

[weixin_47671824]

在学习课程了，课件资料等等，在哪里下载啊？ 以及哪里有中文版的python的numpy pandas的文档啊？

[eg0u9174]

@weixin_47671824 <p>有，你可以去京东上面看看，或者也可以去看原版的pandas文档</p>

[weixin_47671824]

老师好，有没有python的numpy pandas等的中文学习文档啊？

[顺遂心安]

老师你说：“python使用C语言写的，它内置的闭型运算功能使得向量化运算处理数据非常高效这一段。”我没太听懂，啥事“闭型运算功能”呀？

[向左走，向右走]

在哪里下载课件