spark特征值如何处理
假设我导入:教授的年龄、性别、职称等?
问题:
1,用spark的决策树模型和朴素贝叶斯模型来计算分类
LablePoint [1, 40(年龄) 1(性别:男) 2(职称 :教授 )]
[0, 40(年龄) 0(性别:女) 1(职称 : 副教授 )]
[1, 40(年龄) 1(性别:男) 3(职称 :讲师)]
对于这部分类别特征我是应该像上面这样处理?还是下面这样来处理
LablePoint [1, 40(年龄) 1(性别:男) 0(性别:女) 0(职称 : 副教授 ) 1(职称 :教授 ) 0(职称 :讲师)]
[0, 40(年龄) 0(性别:男) 1(性别:女) 1(职称 : 副教授 ) 0(职称 :教授 ) 0(职称 :讲师)]
[1, 40(年龄) 1(性别:男) 0(性别:女) 0(职称 : 副教授 ) 0(职称 :教授 )1(职称 :讲师)]
怎么处理类别特征和文本特征(目前我认为是转换成向量计算,如何转换成向量)?
2,如何确定一个特征和结果的关系(有这个特征时候计算的结构更为的精确或者有这个特征和没这个特诊计算出的结果没有变化)?
3,如何确定2个特征间的关系?
相关推荐
Spark mllib 线性回归测试数据
Spark mllib 线性回归算法测试数据
Spark MLlib 特征工程系列—特征转换Normalizer
Normalizer是一种基于范数的归一化工具,通过将输入向量除以其范数,使得向量满足特定的范数要求(如 L1、L2、L∞)。归一化能够消除特征值量级差异的影响,确保模型在处理不同特征时更加平衡和稳定。Spark 的Normalizer是一种高效的大规模数据预处理方法,适用于需要特征标准化的各种场景,尤其在基于距离度量的算法中效果显著。这种特征工程方法在处理高维数据和需要标准化的数据集时,能够显著提升模型的表现力和稳定性,为后续建模打下良好的基础。
Spark中那些常用的特征处理操作
微信公众号:数据拾光者。愿结交更多的小伙伴,一同走人生路。 摘要:通常在大厂实际项目中会使用Spark来处理大规模数据下的数据挖掘和分析相关工作。本篇从项目实战中总结常用的Spark特征处理实例,方便小伙伴们更好的使用Spark做数据挖掘相关的工作。 目录 01 特征处理的意义 02 特征提取 03 特征转换 04 特征选择 01 特征处理的意义 在数据挖掘项目中,由于我们获取的原始数据中包含很多噪声,所以在真正提供给模型前需要特征处理处理工作,否则再好的模型也只能“Garbage in,garbage out”。 总的来说,特征处理主要包括三部分,特征提取、特征转换和特征选择。 02 特征提
基于Spark Streaming的列车实时定位跟踪与速度计算方法.pdf
基于Spark Streaming的列车实时定位跟踪与速度计算方法.pdf
spark随机森林例子(java版)
spark随机森林例子(java版)


