Spark机器学习实战 (十一) - 文本情感分类项目实战

javaedge 2019-04-19

云栖社区 算法 机器学习 spark MLlib 索引

0 相关源码

将结合前述知识进行综合实战,以达到所学即所用。文本情感分类这个项目会将分类算法、文本特征提取算法等进行关联,使大家能够对Spark的具体应用有一个整体的感知与了解。

1 项目总体概况

2 数据集概述

3 数据预处理

4 文本特征提取

提取,转换和选择特征
本节介绍了使用特征的算法,大致分为以下几组:

  • 提取:从“原始”数据中提取特征
  • 转换:缩放,转换或修改特征
  • 选择:从中选择一个子集一组更大的特征局部敏感散列(LSH):这类算法将特征变换的各个方面与其他算法相结合。
    (TF-IDF) 是在文本挖掘中广泛使用的特征向量化方法,以反映术语对语料库中的文档的重要性。

用t表示一个术语,用d表示文档,用D表示语料库。术语频率TF(t,d)是术语t出现在文档d中的次数,而文档频率DF(t,D)是包含术语的文档数T

如果我们仅使用术语

登录 后评论
下一篇
我是小助手
28787人浏览
2019-07-31
相关推荐
最详细的大数据学习路线图
804人浏览
2019-04-13 14:51:15
大数据开发必备技能
1250人浏览
2019-04-19 15:50:14
Spark修炼之道系列教程预告
2668人浏览
2015-08-24 09:56:00
AI学习路线
2691人浏览
2019-03-12 09:02:11
Keras文本分类实战(上)
2864人浏览
2018-10-26 01:50:08
0
0
0
587