数据挖掘中，如何处理多值的属性？

gwgyk 2013-10-21 08:02:39

在DBLP数据集中查找最常合著的作者。因为一篇论文中有多个作者(最多可能有上百个)，而整个数据集中可能有上万个作者。

现在只需提取每条记录中的作者信息，但很多文章都是多个作者，该怎么把这些作者处理成weka能够识别的arff格式中的数据呢？

如果将其定义为String类型，使用逗号来分隔，weka会报错(因为我只需作者这一个属性)，而同一个属性的值中不能出现逗号。若使用别的符号来分隔(如“--”或“*”)，weka也不能自动识别这些符号，会把多个作者当成一个属性值来处理。

该怎么处理成合理的格式呢？谢谢大家指教

...全文

752 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

gwgyk 2013-10-21

打赏
举报

回复

不能按标称属性来处理

互联网的迅猛发展，催生了海量数据的产生。如何挖掘数据的深层价值变得尤为重要。然而，数据挖掘复杂的数学内容使很多人望而却步。本议题试图以实例的形式，用尽量通俗的方式，针对性别预测这个分类问题，来谈一下数据挖掘基本的处理流程，常见的算法和算法的选择等。讲师：王琪，友盟数据挖掘工程师，武汉大学硕士，工作涉及友盟的各类数据挖掘和分析任务。对数据挖掘和分析，自然语言处理和文本检索有多年的理论和实践经验。

数据挖掘：数据处理-异常值处理 1，什么是异常值？异常值即是样本数据中的离群点，将那些明显与其他样本不同的数据视为异常值。异常值虽然数量较少，但是对于模型（对异常值敏感的模型）的影响很大，所以必须对异常值进行处理。 2，异常值的来源异常值的来源主要分为人为误差和自然误差，具体来说包括以下几类：数据输入错误、测量误差、实验误差、故意异常值、数据处理错误、抽样错误、自然异常值。总而言...

数据挖掘：数据预处理——缺失值处理一、什么是缺失值缺失值是指粗糙数据中由于缺少信息而造成的数据的聚类、分组、删失或截断。它指的是现有数据集中某个或某些属性的值是不完全的。而在数据处理的过程中，缺失值不仅包括数据库中的NULL值，也包括用于表示数值缺失的特殊数值（比如，在系统中用-999来表示数值不存在）。说明： None是一个python特殊的数据类型。不同于空列表和空字符串，是一种...

1，什么是缺失值？缺失值即是存在特征或标签为空的样本，包含空值的数据会使挖掘过程陷入混乱，导致不可靠的输出。 2，缺失值的来源造成数据缺失的原因是多方面的，主要有以下几种可能：（1）有些信息暂时无法获取，致使一部分属性值空缺出来。（2）有些信息因为一些人为因素而丢失了。（3）有些对象的某个或某些属性是不可用的，如一个未婚者的配偶姓名。（4）获取信息的代价太大，从而未获取数据...

为什么需要处理缺失值呢？训练数据集中缺少的数据可以减少模型的拟合，或者可能导致模型偏差，因为没有正确地分析变量的行为和关系，可能导致错误的预测或分类。注意上图中缺失值：在左侧的情况下，没有处理缺失值，男性打板球的机会高于女性。另一方面，如果看看第二个表，其中显示了处理缺失值后的数据（基于性别），我们可以看到女性与男性相比有较高的打板球的机会。为什么会有缺失值呢？前面说明了在数据集中处理缺

202

社区成员

447

社区内容

发帖

与我相关

我的任务

数据库数据库架构数据库开发技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章