Spark MLlib机器学习:算法、源码及实战详解

资源名称：Spark MLlib机器学习:算法、源码及实战详解

内容简介：

《Spark MLlib机器学习：算法、源码及实战详解》以Spark 1.4.1版本源码为切入点，全面并且深入地解析Spark MLlib模块，着力于探索分布式机器学习的底层实现。

《Spark MLlib机器学习：算法、源码及实战详解》中本着循序渐进的原则，首先解析MLlib的底层实现基础：数据操作及矩阵向量计算操作，该部分是MLlib实现的基础；接着对各个机器学习算法的理论知识进行讲解，并且解析机器学习算法如何在MLlib中实现分布式计算；然后对MLlib源码进行详细的讲解；最后进行MLlib实例的讲解。相信通过《Spark MLlib机器学习：算法、源码及实战详解》的学习，读者可全面掌握Spark MLlib机器学习，能够进行MLlib实战、MLlib定制开发等。

《Spark MLlib机器学习：算法、源码及实战详解》适合大数据、Spark、数据挖掘领域的从业人员阅读，同时也为Spark开发者和大数据爱好者展现了分布式机器学习的原理和实现细节。

资源目录：

第一部分　Spark MLlib基础

第1章　Spark机器学习简介2

1.1　机器学习介绍2

1.2　Spark介绍3

1.3　Spark MLlib介绍4

第2章　Spark数据操作6

2.1　Spark RDD操作6

2.1.1　Spark RDD创建操作6

2.1.2　Spark RDD转换操作7

2.1.3　Spark RDD行动操作14

2.2　MLlib Statistics统计操作15

2.2.1　列统计汇总15

2.2.2　相关系数16

2.2.3　假设检验18

2.3　MLlib数据格式18

2.3.1　数据处理18

2.3.2　生成样本22

第3章　Spark MLlib矩阵向量26

3.1　Breeze介绍26

3.1.1　Breeze创建函数27

3.1.2　Breeze元素访问及操作函数29

3.1.3　Breeze数值计算函数34

3.1.4　Breeze求和函数35

3.1.5　Breeze布尔函数36

3.1.6　Breeze线性代数函数37

3.1.7　Breeze取整函数39

3.1.8　Breeze常量函数40

3.1.9　Breeze复数函数40

3.1.10　Breeze三角函数40

3.1.11　Breeze对数和指数函数40

3.2　BLAS介绍41

3.2.1　BLAS向量-向量运算42

3.2.2　BLAS矩阵-向量运算42

3.2.3　BLAS矩阵-矩阵运算43

3.3　MLlib向量43

3.3.1　MLlib向量介绍43

3.3.2　MLlib Vector接口44

3.3.3　MLlib DenseVector类46

3.3.4　MLlib SparseVector类49

3.3.5　MLlib Vectors伴生对象50

3.4　MLlib矩阵57

3.4.1　MLlib矩阵介绍57

3.4.2　MLlib Matrix接口57

3.4.3　MLlib DenseMatrix类59

3.4.4　MLlib SparseMatrix类64

3.4.5　MLlib Matrix伴生对象71

3.5　MLlib BLAS77

3.6　MLlib分布式矩阵93

3.6.1　MLlib分布式矩阵介绍93

3.6.2　行矩阵（RowMatrix）94

3.6.3　行索引矩阵（IndexedRowMatrix）96

3.6.4　坐标矩阵（CoordinateMatrix）97

3.6.5　分块矩阵（BlockMatrix）98

第二部分　Spark MLlib回归算法

第4章　Spark MLlib线性回归算法102

4.1　线性回归算法102

4.1.1　数学模型102

4.1.2　最小二乘法105

4.1.3　梯度下降算法105

4.2　源码分析106

4.2.1　建立线性回归108

4.2.2　模型训练run方法111

4.2.3　权重优化计算114

4.2.4　线性回归模型121

4.3　实例123

4.3.1　训练数据123

4.3.2　实例代码123

第5章　Spark MLlib逻辑回归算法126

5.1　逻辑回归算法126

5.1.1　数学模型126

5.1.2 梯度下降算法128

5.1.3　正则化129

5.2　源码分析132

5.2.1　建立逻辑回归134

5.2.2　模型训练run方法137

5.2.3　权重优化计算137

5.2.4　逻辑回归模型144

5.3　实例148

5.3.1　训练数据148

5.3.2　实例代码148

第6章　Spark MLlib保序回归算法151

6.1　保序回归算法151

6.1.1　数学模型151

6.1.2　L2保序回归算法153

6.2　源码分析153

6.2.1　建立保序回归154

6.2.2　模型训练run方法156

6.2.3　并行PAV计算156

6.2.4　PAV计算157

6.2.5　保序回归模型159

6.3　实例164

6.3.1　训练数据164

6.3.2　实例代码164

第三部分　Spark MLlib分类算法

第7章　Spark MLlib贝叶斯分类算法170

7.1　贝叶斯分类算法170

7.1.1　贝叶斯定理170

7.1.2　朴素贝叶斯分类171

7.2　源码分析173

7.2.1　建立贝叶斯分类173

7.2.2　模型训练run方法176

7.2.3　贝叶斯分类模型179

7.3　实例181

7.3.1　训练数据181

7.3.2　实例代码182

第8章　Spark MLlib SVM支持向量机算法184

8.1　SVM支持向量机算法184

8.1.1　数学模型184

8.1.2　拉格朗日186

8.2　源码分析189

8.2.1　建立线性SVM分类191

8.2.2　模型训练run方法194

8.2.3　权重优化计算194

8.2.4　线性SVM分类模型196

8.3　实例199

8.3.1　训练数据199

8.3.2　实例代码199

第9章　Spark MLlib决策树算法202

9.1　决策树算法202

9.1.1　决策树202

9.1.2　特征选择203

9.1.3　决策树生成205

9.1.4　决策树生成实例206

9.1.5　决策树的剪枝208

9.2　源码分析209

9.2.1　建立决策树211

9.2.2　建立随机森林216

9.2.3　建立元数据220

9.2.4　查找特征的分裂及划分223

9.2.5　查找最好的分裂顺序228

9.2.6　决策树模型231

9.3　实例234

9.3.1　训练数据234

9.3.2　实例代码234

第四部分　Spark MLlib聚类算法

第10章　Spark MLlib KMeans聚类算法238

10.1　KMeans聚类算法238

10.1.1　KMeans算法238

10.1.2　演示KMeans算法239

10.1.3　初始化聚类中心点239

10.2　源码分析240

10.2.1　建立KMeans聚类242

10.2.2　模型训练run方法247

10.2.3　聚类中心点计算248

10.2.4　中心点初始化251

10.2.5　快速距离计算254

10.2.6　KMeans聚类模型255

10.3　实例258

10.3.1　训练数据258

10.3.2　实例代码259

第11章　Spark MLlib LDA主题模型算法261

11.1　LDA主题模型算法261

11.1.1　LDA概述261

11.1.2　LDA概率统计基础262

11.1.3　LDA数学模型264

11.2　GraphX基础267

11.3　源码分析270

11.3.1　建立LDA主题模型272

11.3.2　优化计算279

11.3.3　LDA模型283

11.4　实例288

11.4.1　训练数据288

11.4.2　实例代码288

第五部分　Spark MLlib关联规则挖掘算法

第12章　Spark MLlib FPGrowth关联规则算法292

12.1　FPGrowth关联规则算法292

12.1.1　基本概念292

12.1.2　FPGrowth算法293

12.1.3　演示FP树构建294

12.1.4　演示FP树挖掘296

12.2　源码分析298

12.2.1　FPGrowth类298

12.2.2　关联规则挖掘300

12.2.3　FPTree类303

12.2.4　FPGrowthModel类306

12.3　实例306

12.3.1　训练数据306

12.3.2　实例代码306

第六部分　Spark MLlib推荐算法

第13章　Spark MLlib ALS交替最小二乘算法310

13.1　ALS交替最小二乘算法310

13.2　源码分析312

13.2.1　建立ALS314

13.2.2　矩阵分解计算322

13.2.3　ALS模型329

13.3　实例334

13.3.1　训练数据334

13.3.2　实例代码334

第14章　Spark MLlib协同过滤推荐算法337

14.1　协同过滤推荐算法337

14.1.1　协同过滤推荐概述337

14.1.2　用户评分338

14.1.3　相似度计算338

14.1.4　推荐计算340

14.2　协同推荐算法实现341

14.2.1　相似度计算344

14.2.2　协同推荐计算348

14.3　实例350

14.3.1　训练数据350

14.3.2　实例代码350

第七部分　Spark MLlib神经网络算法

第15章　Spark MLlib神经网络算法综述354

15.1　人工神经网络算法354

15.1.1　神经元354

15.1.2　神经网络模型355

15.1.3 信号前向传播356

15.1.4　误差反向传播357

15.1.5　其他参数360

15.2　神经网络算法实现361

15.2.1　神经网络类363

15.2.2　训练准备370

15.2.3　前向传播375

15.2.4　误差反向传播377

15.2.5　权重更新381

15.2.6　ANN模型382

15.3　实例384

15.3.1　测试数据384

15.3.2　测试函数代码387

15.3.3　实例代码388

资源截图：