Spark大數(shù)據(jù)分析技術(shù)

（Python版·微課版）

ISBN：9787302625520

作者：曹潔

價格：59元

課程教學(xué)大綱

[課程編號]：

[英文名稱]：Spark Big Data Analysis

[課程性質(zhì)]：專業(yè)必修課（專業(yè)核心課）

[先修課程]：Linux 基礎(chǔ)、Python 程序設(shè)計、大數(shù)據(jù)技術(shù)導(dǎo)論、數(shù)據(jù)庫技術(shù)

[適用專業(yè)]：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)

[學(xué) 分 數(shù)]：2

[總 學(xué) 時]：36

[理論學(xué)時]：24

[實(shí)踐學(xué)時]：12

1

課程簡介

展開全文

Spark 是立足于內(nèi)存計算，是大數(shù)據(jù)系統(tǒng)領(lǐng)域的全棧式數(shù)據(jù)計算與分析平臺，在大數(shù) 據(jù)分析與處理中被廣泛應(yīng)用。本課程主要介紹Spark大數(shù)據(jù)處理框架、Spark RDD 編程、Spark SQL結(jié)構(gòu)化數(shù)據(jù)處理、HBase分布式數(shù)據(jù)庫、Spark Streaming流計算、Spark MLlib機(jī)器學(xué)習(xí)和 數(shù)據(jù)可視化等。通過本課程的學(xué)習(xí)，學(xué)生能夠深入理解 Spark 大數(shù)據(jù)處理技術(shù)框架的運(yùn)行機(jī)制、針對不同類型數(shù)據(jù)的處理技巧和分析方法，提高大數(shù)據(jù)分析與處理能力。

2

課程目標(biāo)

1．通過學(xué)習(xí)本課程，達(dá)到以下目標(biāo)：

（1）知識目標(biāo)：掌握扎實(shí)的大數(shù)據(jù)基礎(chǔ)知識和大數(shù)據(jù)開發(fā)技術(shù)方法、工具和環(huán)境。

（2）能力目標(biāo)：具備一定的大數(shù)據(jù)處理技術(shù)開發(fā)能力，培養(yǎng)獨(dú)立思考和判斷、分析問題和解決問題以及較強(qiáng)的實(shí)踐動手能力。

（3）素質(zhì)目標(biāo)：培養(yǎng)學(xué)生勤奮踏實(shí)，適應(yīng)大數(shù)據(jù)行業(yè)快速發(fā)展的素質(zhì)，具備良好的大數(shù)據(jù)處理技術(shù)職業(yè)道德。

2．課程目標(biāo)與畢業(yè)要求關(guān)系

3

課程內(nèi)容

（一）理論課課程內(nèi)容

（二）實(shí)驗(yàn)課課程內(nèi)容

?

參考書籍

?

《Spark大數(shù)據(jù)分析技術(shù)（Python版·微課版）》

ISBN：9787302625520

作者：曹潔

價格：59元

學(xué)習(xí)Spark非常適用的教材，案例豐富，操作性強(qiáng)。提供課件、大綱、源碼。

內(nèi)容簡介

本書系統(tǒng)介紹Spark大數(shù)據(jù)處理框架。全書共8章,內(nèi)容包括大數(shù)據(jù)技術(shù)概述、Spark大數(shù)據(jù)處理框架、Spark RDD編程、Spark SQL結(jié)構(gòu)化數(shù)據(jù)處理、HBase分布式數(shù)據(jù)庫、Spark Streaming流計算、Spark MLlib機(jī)器學(xué)習(xí)、數(shù)據(jù)可視化。本書可作為高等院校計算機(jī)科學(xué)與技術(shù)、信息管理與信息系統(tǒng)、軟件工程、數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)、人工智能等專業(yè)的大數(shù)據(jù)課程教材，也可供從事大數(shù)據(jù)開發(fā)和研究工作的工程師和科技工作者參考。

配套資源

· PPT課件

· 用到的數(shù)據(jù)集

· 源碼

目錄

向上滑動閱覽

第1章大數(shù)據(jù)技術(shù)概述1

1.1大數(shù)據(jù)的基本概念1

1.1.1大數(shù)據(jù)的定義1

1.1.2大數(shù)據(jù)的特征1

1.1.3大數(shù)據(jù)思維2

1.2代表性大數(shù)據(jù)技術(shù)3

1.2.1Hadoop3

1.2.2Spark5

1.2.3Flink5

1.3大數(shù)據(jù)編程語言5

1.4在線資源5

1.5拓展閱讀——三次信息化浪潮的啟示6

1.6習(xí)題6

第2章Spark大數(shù)據(jù)處理框架7

2.1Spark概述7

2.1.1Spark的產(chǎn)生背景7

2.1.2Spark的優(yōu)點(diǎn)8

2.1.3Spark的應(yīng)用場景9

2.1.4Spark的生態(tài)系統(tǒng)9

2.2Spark運(yùn)行機(jī)制10

2.2.1Spark基本概念10

2.2.2Spark運(yùn)行架構(gòu)12

2.3在VirtualBox上安裝Linux集群13

2.3.1Master節(jié)點(diǎn)的安裝13

2.3.2虛擬機(jī)克隆安裝Slave1節(jié)點(diǎn)22

2.4Hadoop安裝前的準(zhǔn)備工作26

2.4.1創(chuàng)建hadoop用戶和更新APT262.4.2安裝SSH、配置SSH無密碼登錄27

2.4.3安裝Java環(huán)境28

2.4.4Linux系統(tǒng)下Scala版本的Eclipse的安裝與配置29

2.4.5Eclipse環(huán)境下Java程序開發(fā)實(shí)例30

2.5Hadoop的安裝與配置32

2.5.1下載Hadoop安裝文件32

2.5.2Hadoop單機(jī)模式配置33

2.5.3Hadoop偽分布式模式配置35

2.5.4Hadoop分布式模式配置40

2.6Spark的安裝與配置49

2.6.1下載Spark安裝文件49

2.6.2單機(jī)模式配置50

2.6.3偽分布式模式配置51

2.7使用PySpark編寫Python代碼54

2.8安裝pip工具和常用的數(shù)據(jù)分析庫55

2.9安裝Anaconda和配置Jupyter Notebook55

2.9.1安裝Anaconda55

2.9.2配置Jupyter Notebook57

2.9.3運(yùn)行Jupyter Notebook58

2.9.4配置Jupyter Notebook實(shí)現(xiàn)和PySpark交互59

2.9.5為Anaconda安裝擴(kuò)展庫61

2.10拓展閱讀——Spark誕生的啟示62

2.11習(xí)題62

〖3〗Spark大數(shù)據(jù)分析技術(shù)（Python版·微課版）目錄〖3〗第3章Spark RDD編程63

3.1RDD的創(chuàng)建方式63

3.1.1使用程序中的數(shù)據(jù)集創(chuàng)建RDD63

3.1.2使用文本文件創(chuàng)建RDD65

3.1.3使用JSON文件創(chuàng)建RDD67

3.1.4使用CSV文件創(chuàng)建RDD69

3.2RDD轉(zhuǎn)換操作69

3.2.1映射操作70

3.2.2去重操作72

3.2.3排序操作73

3.2.4分組聚合操作75

3.2.5集合操作78

3.2.6抽樣操作79

3.2.7連接操作80

3.2.8打包操作81

3.2.9獲取鍵值對RDD的鍵和值集合81

3.2.10重新分區(qū)操作81

3.3RDD行動操作83

3.3.1統(tǒng)計操作84

3.3.2取數(shù)據(jù)操作85

3.3.3聚合操作86

3.3.4迭代操作87

3.3.5存儲操作88

3.4RDD之間的依賴關(guān)系89

3.4.1窄依賴89

3.4.2寬依賴89

3.5RDD的持久化90

3.6案例實(shí)戰(zhàn): 利用Spark RDD實(shí)現(xiàn)詞頻統(tǒng)計91

3.7實(shí)驗(yàn)1: RDD編程實(shí)驗(yàn)92

3.8拓展閱讀——中國女排精神94

3.9習(xí)題95

第4章Spark SQL結(jié)構(gòu)化數(shù)據(jù)處理96

4.1Spark SQL96

4.1.1Spark SQL簡介96

4.1.2DataFrame與Dataset96

4.2創(chuàng)建DataFrame對象的方法97

4.2.1使用Parquet文件創(chuàng)建DataFrame對象97

4.2.2使用JSON文件創(chuàng)建DataFrame對象98

4.2.3使用SparkSession方式創(chuàng)建DataFrame對象99

4.3將DataFrame對象保存為不同格式的文件104

4.3.1通過write.xxx方法保存DataFrame對象104

4.3.2通過write.format方法保存DataFrame對象105

4.3.3將DataFrame對象轉(zhuǎn)化成RDD保存到文件中105

4.4DataFrame的常用操作105

4.4.1行類操作105

4.4.2列類操作106

4.4.3DataFrame的常用屬性109

4.4.4輸出110

4.4.5篩選112

4.4.6排序116

4.4.7匯總與聚合117

4.4.8統(tǒng)計119

4.4.9合并120

4.4.10連接120

4.4.11to系列轉(zhuǎn)換123

4.5讀寫MySQL數(shù)據(jù)庫124

4.5.1安裝并配置MySQL124

4.5.2讀取MySQL數(shù)據(jù)庫中的數(shù)據(jù)126

4.5.3向MySQL數(shù)據(jù)庫寫入數(shù)據(jù)127

4.6實(shí)驗(yàn)2: Spark SQL編程實(shí)驗(yàn)128

4.7拓展閱讀——中國芯片之路130

4.8習(xí)題131

第5章HBase分布式數(shù)據(jù)庫132

5.1HBase概述132

5.1.1HBase的技術(shù)特點(diǎn)132

5.1.2HBase與傳統(tǒng)關(guān)系數(shù)據(jù)庫的區(qū)別132

5.1.3HBase與Hadoop中其他組件的關(guān)系133

5.2HBase系統(tǒng)架構(gòu)和數(shù)據(jù)訪問流程134

5.2.1HBase系統(tǒng)架構(gòu)134

5.2.2HBase數(shù)據(jù)訪問流程136

5.3HBase數(shù)據(jù)表139

5.3.1HBase數(shù)據(jù)表邏輯視圖139

5.3.2HBase數(shù)據(jù)表物理視圖141

5.3.3HBase數(shù)據(jù)表面向列的存儲142

5.3.4HBase數(shù)據(jù)表的查詢方式143

5.3.5HBase表結(jié)構(gòu)設(shè)計143

5.4HBase的安裝144

5.4.1下載安裝文件144

5.4.2配置環(huán)境變量144

5.4.3添加用戶權(quán)限145

5.4.4查看HBase版本信息145

5.5HBase的配置145

5.5.1單機(jī)模式配置146

5.5.2偽分布式模式配置147

5.6HBase的Shell操作150

5.6.1基本操作150

5.6.2創(chuàng)建表151

5.6.3插入與更新表中的數(shù)據(jù)153

5.6.4查看表中的數(shù)據(jù)154

5.6.5刪除表中的數(shù)據(jù)156

5.6.6表的啟用/禁用156

5.6.7修改表結(jié)構(gòu)157

5.6.8刪除HBase表158

5.7HBase的Java API操作158

5.7.1HBase數(shù)據(jù)庫管理API158

5.7.2HBase數(shù)據(jù)庫表API159

5.7.3HBase數(shù)據(jù)庫表行列API161

5.8HBase案例實(shí)戰(zhàn)163

5.8.1在Eclipse中創(chuàng)建工程163

5.8.2添加項目用到的JAR包164

5.8.3編寫Java應(yīng)用程序165

5.8.4編譯運(yùn)行程序168

5.9利用Python操作HBase169

5.9.1HappyBase的安裝169

5.9.2Connection類169

5.9.3Table類170

5.10拓展閱讀——HBase存儲策略的啟示171

5.11習(xí)題171

第6章Spark Streaming流計算172

6.1流計算概述172

6.1.1流數(shù)據(jù)172

6.1.2流計算處理流程172

6.2Spark Streaming工作原理173

6.3Spark Streaming編程模型174

6.3.1編寫Spark Streaming程序的步驟174

6.3.2創(chuàng)建StreamingContext對象174

6.4創(chuàng)建DStream175

6.4.1創(chuàng)建輸入源為文件流的DStream對象175

6.4.2定義DStream的輸入數(shù)據(jù)源為套接字流178

6.4.3定義DStream的輸入數(shù)據(jù)源為RDD隊列流182

6.5DStream操作183

6.5.1DStream無狀態(tài)轉(zhuǎn)換操作183

6.5.2DStream有狀態(tài)轉(zhuǎn)換操作187

6.5.3DStream輸出操作189

6.6拓展閱讀——Spark Streaming流處理過程的啟示190

6.7習(xí)題190

第7章Spark MLlib機(jī)器學(xué)習(xí)191

7.1MLlib概述191

7.1.1機(jī)器學(xué)習(xí)191

7.1.2PySpark機(jī)器學(xué)習(xí)庫193

7.2MLlib基本數(shù)據(jù)類型193

7.2.1本地向量193

7.2.2帶標(biāo)簽的點(diǎn)195

7.2.3本地矩陣196

7.3機(jī)器學(xué)習(xí)流水線198

7.3.1轉(zhuǎn)換器198

7.3.2評估器198

7.3.3流水線199

7.4基本統(tǒng)計201

7.4.1匯總統(tǒng)計201

7.4.2相關(guān)分析203

7.4.3分層抽樣205

7.4.4生成隨機(jī)數(shù)206

7.4.5核密度估計206

7.5特征提取、轉(zhuǎn)換和選擇207

7.5.1特征提取207

7.5.2特征轉(zhuǎn)換210

7.5.3特征選擇215

7.6分類算法217

7.6.1邏輯二分類回歸分析218

7.6.2決策樹分類222

7.7回歸算法225

7.7.1循環(huán)發(fā)電場數(shù)據(jù)的多元線性回歸分析225

7.7.2回歸決策樹229

7.7.3梯度提升回歸樹230

7.8聚類算法231

7.8.1聚類概述231

7.8.2k均值聚類算法232

7.9協(xié)同過濾推薦算法235

7.9.1協(xié)同過濾推薦的原理235

7.9.2交替最小二乘協(xié)同過濾推薦算法236

7.10實(shí)驗(yàn)3: Spark機(jī)器學(xué)習(xí)實(shí)驗(yàn)239

7.11拓展閱讀——工匠精神240

7.12習(xí)題241

第8章數(shù)據(jù)可視化242

8.1WordCloud242

8.2PyeCharts247

8.2.1繪制柱狀圖248

8.2.2繪制折線圖250

8.2.3繪制餅圖252

8.2.4繪制雷達(dá)圖252

8.2.5繪制漏斗圖253

8.2.6繪制3D柱狀圖254

8.2.7繪制詞云圖255

8.3Plotly256

8.3.1繪制折線圖256

8.3.2繪制柱狀圖257

8.3.3繪制餅圖259

8.4拓展閱讀——文化自信260

8.5習(xí)題260

參考文獻(xiàn)261

在公眾號書圈后臺回復(fù)【9787302625520】，下載本書配套的教學(xué)資源

單擊頁面下方【閱讀原文】，訂閱【教學(xué)大綱】欄目