python – 如何获得pandas数据帧中行的百分位数？

2019-09-12 01:27:54 462 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

weixin_38054276 墨衍会员 · AI 创作全网分发关注 + 加入社区

逆变器LCL滤波器参数设计（一） 1.基本介绍并网型逆变器一般是电流源逆变器，滤波器基本用LCL结构。假设要设计额定功率10KVA的单相逆变器，采用两电平的全桥拓扑，采用SPWM控制，载波频率20KHz，电网等级220V，频率50Hz。拓扑结构如图所示：直流输入电压分为上下母线各1/2Vin，半母线电压为380V。 L1采用高频磁芯绕制，称为高频电感；L2用工频电感绕制，称工频电感；C是滤波电容，为高频谐波电流提供通路；Vg为电网电压。载波调制比为：Mr=220*1.414/380=0.819 2.高频电感量的计算逆变器可以等阅读详情

Example DataFrame Values - 0 78 1 38 2 42 3 48 4 31 5 89 6 94 7 102 8 122 9 122 stats.percentileofscore(temp['INCOME'].values, 38, kind='mean') 15.0 stats.percentileofscore(temp['INCOME'].values, 38, kind='strict') 10.0 stats.percentileofscore(temp['INCOME'].values, 38, kind='weak') 20.0 stats.percentileofscore(temp['INCOME'].values, 38, kind='rank') 20.0 temp['INCOME'].rank(pct=True) 1 0.20 (Only showing the 38 value index) temp['INCOME'].quantile(0.11) 37.93 temp['INCOME'].quantile(0.12) 38.31999999999999 Based on the results above, you can see none of the methods are consistent with the pd.quantiles() method. 我需要为数据帧中的每一行(255M行)获取一列的百分位数,但找不到任何返回他们在pd.quantile&中使用的‘linear interpolation’方法的函数/方法. np.percentile. 我尝试了以下方法/功能 – .rank(pct=True) 此方法仅返回按顺序排列的值,而不是使用我正在寻找的百分位方法.与pd.quantiles不一致 scipy.stats.percentileofscore 这种方法几乎与我正在寻找的方法更接近,但由于某种原因仍与100％的“线性插值”方法不一致. Related question to this problem with no real answer 我查看了与此问题相关的每个SO答案,但没有一个使用我需要使用的相同插值方法,所以请不要将其标记为重复,除非您可以验证它们使用相同的方法. 在这一点上,我的最后一个选择是找到所有100百分位数的bin截止值并以这种方式应用它或者自己计算线性插值但这看起来非常低效并且将永远适用于255M记录. 还有其他建议吗？谢谢！

...全文

标签传播算法LPA：半监督学习解决标注数据不足的完整实战指南在机器学习实际工程中，标注数据稀缺往往是制约模型性能的核心瓶颈。半监督学习提供了一条利用海量未标注数据来增强模型泛化能力的有效路径，其中标签传播算法（Label Propagation Algorithm, LPA）因其直观的图结构和优雅的数学原理而备受关注。LPA通过将样本映射为图中的节点，以相似度作为边权重，让已知标签沿着图结构不断扩散，从而实现对未知样本的预测。其背后基于聚类假设与流形假设，能在低标注率场景下显著缓解过拟合问题，提升分类准确率。该技术在文本分类、金融风控、图像识别等存在大量无标注数据的阅读详情

weixin_38054276

其他技术讨论专区 479 成员 790,916 内容

+ 关注 + 加入社区

切换为时间正序

weixin_38061328 2019-09-12

打赏
举报

TL; DR 使用 sz = temp['INCOME'].size-1 temp['PCNT_LIN'] = temp['INCOME'].rank(method='max').apply(lambda x: 100.0*(x-1)/sz) INCOME PCNT_LIN 0 78 44.444444 1 38 11.111111 2 42 22.222222 3 48 33.333333 4 31 0.000000 5 89 55.555556 6 94 66.666667 7 102 77.777778 8 122 100.000000 9 122 100.000000 回答一旦你了解了机制,它实际上非常简单.当您在寻找分数的百分位数时,您已经在每一行中获得了分数.剩下的唯一步骤是了解您需要的数字百分位数小于或等于所选值.这正是DataFrame.rank()的scipy.stats.percentileofscore()和method =’average’的参数kind =’weak’.为了反转它,使用interpolation =’lower’运行Series.quantile(). 因此,scipy.stats.percentileofscore(),Series.rank()和Series.quantile()的行为是一致的,如下所示： In[]: temp = pd.DataFrame([ 78, 38, 42, 48, 31, 89, 94, 102, 122, 122], columns=['INCOME']) temp['PCNT_RANK']=temp['INCOME'].rank(method='max', pct=True) temp['POF'] = temp['INCOME'].apply(lambda x: scipy.stats.percentileofscore(temp['INCOME'], x, kind='weak')) temp['QUANTILE_VALUE'] = temp['PCNT_RANK'].apply(lambda x: temp['INCOME'].quantile(x, 'lower')) temp['RANK']=temp['INCOME'].rank(method='max') sz = temp['RANK'].size - 1 temp['PCNT_LIN'] = temp['RANK'].apply(lambda x: (x-1)/sz) temp['CHK'] = temp['PCNT_LIN'].apply(lambda x: temp['INCOME'].quantile(x)) temp Out[]: INCOME PCNT_RANK POF QUANTILE_VALUE RANK PCNT_LIN CHK 0 78 0.5 50.0 78 5.0 0.444444 78.0 1 38 0.2 20.0 38 2.0 0.111111 38.0 2 42 0.3 30.0 42 3.0 0.222222 42.0 3 48 0.4 40.0 48 4.0 0.333333 48.0 4 31 0.1 10.0 31 1.0 0.000000 31.0 5 89 0.6 60.0 89 6.0 0.555556 89.0 6 94 0.7 70.0 94 7.0 0.666667 94.0 7 102 0.8 80.0 102 8.0 0.777778 102.0 8 122 1.0 100.0 122 10.0 1.000000 122.0 9 122 1.0 100.0 122 10.0 1.000000 122.0 现在,在PCNT_RANK列中,您获得的值的比率小于或等于INCOME列中的值.但是如果你想要“插值”比率,它就在PCNT_LIN列中.当你使用Series.rank()进行计算时,它非常快,并且会在几秒钟内处理你的255M数字. 在这里,我将解释如何使用带有线性插值的quantile()获得值： temp['INCOME'].quantile(0.11) 37.93 我们的数据temp [‘INCOME’]只有十个值.根据你的link to Wiki的公式,第11百分位的排名是 rank = 11*(10-1)/100 + 1 = 1.99 等级的截断部分是1,其对应于值31,并且具有等级2(即,下一个仓)的值是38.分数的值是等级的小数部分.这导致了结果： 31 + (38-31)*(0.99) = 37.93 对于值本身,分数部分必须为零,因此很容易进行逆计算以获得百分位数： p = (rank - 1)*100/(10 - 1) 我希望我说得更清楚.

python – 如何获得pandas数据帧中行的百分位数？

相关推荐