本書以電商網(wǎng)站中的用戶行為數(shù)據(jù)作為數(shù)據(jù)源，系統(tǒng)地介紹了如何使用 Spark生態(tài)系統(tǒng)進(jìn)行大數(shù)據(jù)離線分析和實(shí)時分析的方法。全書共7章，分別講解了項(xiàng)目需求、項(xiàng)目架構(gòu)、項(xiàng)目實(shí)現(xiàn)流程、大數(shù)據(jù)集群環(huán)境搭建、熱門品類Top10分析、各區(qū)域熱門商品Top3分析、網(wǎng)站轉(zhuǎn)化率統(tǒng)計(jì)、廣告點(diǎn)擊流實(shí)時統(tǒng)計(jì)和使用FineBI實(shí)現(xiàn)數(shù)據(jù)可視化。
本書附有配套視頻、教學(xué)PPT、教學(xué)設(shè)計(jì)等資源，同時，為了幫助初學(xué)者更好地學(xué)習(xí)本書中的內(nèi)容，還提供了在線答疑，歡迎讀者關(guān)注。
本書適合作為高等教育本科和�？频臄�(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)及相關(guān)專業(yè)的教材，也適合數(shù)據(jù)分析、數(shù)據(jù)可視化等領(lǐng)域的從業(yè)者閱讀。

本書以電商網(wǎng)站中的用戶行為數(shù)據(jù)為數(shù)據(jù)源，系統(tǒng)地介紹了如何使用Spark生態(tài)系統(tǒng)進(jìn)行離線分析和實(shí)時分析的方法和步驟。全書共7章，分別講解了項(xiàng)目需求、項(xiàng)目架構(gòu)、項(xiàng)目實(shí)現(xiàn)流程、搭建大數(shù)據(jù)集群環(huán)境、使用Spark Core和Spark SQL編寫離線分析的Spark程序、使用Structured Streaming編寫實(shí)時分析的Spark程序、使用HBase實(shí)現(xiàn)數(shù)據(jù)存儲和使用FineBI實(shí)現(xiàn)數(shù)據(jù)可視化。
本書附有配套視頻、教學(xué)PPT、教學(xué)設(shè)計(jì)等資源，同時，為了幫助初學(xué)者更好地學(xué)習(xí)本書中的內(nèi)容，還提供了在線答疑，歡迎讀者關(guān)注。
本書以項(xiàng)目驅(qū)動方式引導(dǎo)讀者學(xué)習(xí)并動手操作以提升大數(shù)據(jù)技能；從零到一，逐步引導(dǎo)讀者完成項(xiàng)目的開發(fā)；通俗易懂，讓讀者能夠清楚地理解每個步驟的原理；融合了教材、資源、服務(wù)，方便教與學(xué)。
本書適用于高等教育本科和專科的數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)及相關(guān)專業(yè)的教材，也適用于數(shù)據(jù)分析、數(shù)據(jù)可視化領(lǐng)域的從業(yè)者閱讀。

黨的二十大報(bào)告強(qiáng)調(diào)了加快發(fā)展數(shù)字經(jīng)濟(jì)，促進(jìn)數(shù)字經(jīng)濟(jì)和實(shí)體經(jīng)濟(jì)深度融合，打造具有國際競爭力的數(shù)字產(chǎn)業(yè)集群的重要性。隨著云時代的來臨，移動互聯(lián)網(wǎng)、電子商務(wù)、物聯(lián)網(wǎng)以及社交媒體快速發(fā)展，全球的數(shù)據(jù)正在以幾何級速度呈爆發(fā)性增長，大數(shù)據(jù)吸引了越來越多人的關(guān)注，現(xiàn)在數(shù)據(jù)已經(jīng)成為與物質(zhì)資產(chǎn)和人力資本同樣重要的基礎(chǔ)生產(chǎn)要素。然而，數(shù)據(jù)的價(jià)值不僅與數(shù)據(jù)的數(shù)量有關(guān)，更與數(shù)據(jù)的質(zhì)量和分析有關(guān)。為了從海量的數(shù)據(jù)中提取有價(jià)值的信息，我們需要有效地收集、存儲、處理和分析數(shù)據(jù)，以支持商業(yè)決策和社會發(fā)展。
本書基于第1版進(jìn)行改版, 優(yōu)化原書內(nèi)容，并進(jìn)行以下調(diào)整。
�r 將項(xiàng)目實(shí)現(xiàn)語言更換為Scala，更好地發(fā)揮Spark的優(yōu)勢;
�r 調(diào)整了部分需求的實(shí)現(xiàn)方式，增強(qiáng)了教學(xué)的實(shí)用性;
�r 調(diào)整了知識講解的結(jié)構(gòu)，更符合循序漸進(jìn)的學(xué)習(xí)思路;
�r 添加素質(zhì)教育的內(nèi)容，將素質(zhì)教育的內(nèi)容與專業(yè)知識有機(jī)結(jié)合。
本書以電商網(wǎng)站中的用戶行為數(shù)據(jù)作為數(shù)據(jù)源，系統(tǒng)地介紹了如何使用 Spark生態(tài)系統(tǒng)進(jìn)行大數(shù)據(jù)離線分析和實(shí)時分析的方法，適合具備一定數(shù)據(jù)分析和大數(shù)據(jù)知識的讀者學(xué)習(xí)。全書共7章內(nèi)容，具體如下。
�r 第1章旨在帶領(lǐng)讀者初步了解項(xiàng)目，包括項(xiàng)目需求、架構(gòu)、開發(fā)流程等；
�r 第2章詳細(xì)介紹大數(shù)據(jù)集群環(huán)境的搭建;
�r 第3章講解使用Spark Core進(jìn)行熱門品類Top10分析的方法;
�r 第4章講解使用Spark Core進(jìn)行各區(qū)域熱門商品Top3分析的方法;
�r 第5章講解使用Spark SQL進(jìn)行網(wǎng)站轉(zhuǎn)化率統(tǒng)計(jì)的方法;
�r 第6章講解使用Structured Streaming進(jìn)行廣告點(diǎn)擊流實(shí)時統(tǒng)計(jì)的方法;
�r 第7章講解如何將存儲在HBase中的分析結(jié)果映射到Phoenix的表中，并通過FineBI實(shí)現(xiàn)數(shù)據(jù)可視化。
在實(shí)踐過程中，讀者可能會遇到各種問題，這是正常的。建議讀者在遇到問題時，不要輕易放棄，而要積極思考，梳理思路，分析問題的原因和解決方案，并在問題解決后，總結(jié)經(jīng)驗(yàn)教訓(xùn)，避免重復(fù)錯誤。
本書配套服務(wù)
為了提升您的學(xué)習(xí)或教學(xué)體驗(yàn)，我們精心為本書配備了豐富的數(shù)字化資源和服務(wù)，包括在線答疑、教學(xué)大綱、教學(xué)設(shè)計(jì)、教學(xué)PPT、教學(xué)視頻、測試題、源代碼等。通過這些配套資源和服務(wù)，我們希望讓您的學(xué)習(xí)或教學(xué)變得更加高效。請掃描下方二維碼獲取本書配套資源和服務(wù)。
致謝
本書的編寫和整理工作由傳智教育完成，全體參編人員在編寫過程中付出了辛勤的勞動，除此之外還有很多試讀人員參與了本書的試讀工作并給出了寶貴的建議，在此一并表示由衷的感謝。意見反饋
本書難免有不妥之處，歡迎讀者提出寶貴意見。讀者在閱讀本書時，如發(fā)現(xiàn)任何問題或不認(rèn)同之處，可以通過電子郵箱與編者聯(lián)系。請發(fā)送電子郵件至itcast_book@vip.sina.com。

傳智教育黑馬程序員
2025年1月于北京

第1章項(xiàng)目概述1
1.1項(xiàng)目需求和目標(biāo)1
1.2預(yù)備知識2
1.3項(xiàng)目架構(gòu)2
1.4開發(fā)環(huán)境和工具3
1.5項(xiàng)目開發(fā)流程4
1.6硬件要求6
1.7本章小結(jié)6
第2章搭建大數(shù)據(jù)集群環(huán)境7
2.1基礎(chǔ)環(huán)境搭建7
2.1.1創(chuàng)建虛擬機(jī)7
2.1.2安裝Linux操作系統(tǒng)16
2.1.3克隆虛擬機(jī)22
2.1.4配置虛擬機(jī)25
2.2安裝JDK39
2.3部署ZooKeeper集群41
2.4部署Hadoop集群46
2.5部署Spark52
2.6部署HBase集群55
2.7部署Kafka集群59
2.8本章小結(jié)61
第3章熱門品類Top10分析62
3.1數(shù)據(jù)集分析62
3.2實(shí)現(xiàn)思路分析63
3.3實(shí)現(xiàn)熱門品類Top10分析64
3.3.1環(huán)境準(zhǔn)備64
3.3.2實(shí)現(xiàn)Spark程序72
3.3.3數(shù)據(jù)持久化76
3.4運(yùn)行Spark程序80
3.5本章小結(jié)84
第4章各區(qū)域熱門商品Top3分析85
4.1實(shí)現(xiàn)思路分析85
4.2實(shí)現(xiàn)各區(qū)域熱門商品Top3分析86
4.2.1實(shí)現(xiàn)Spark程序86
4.2.2數(shù)據(jù)持久化89
4.3運(yùn)行Spark程序90
4.4本章小結(jié)92
第5章網(wǎng)站轉(zhuǎn)化率統(tǒng)計(jì)93
5.1數(shù)據(jù)集分析93
5.2實(shí)現(xiàn)思路分析94
5.3實(shí)現(xiàn)網(wǎng)站轉(zhuǎn)化率統(tǒng)計(jì)95
5.3.1生成用戶行為數(shù)據(jù)95
5.3.2實(shí)現(xiàn)Spark程序96
5.3.3數(shù)據(jù)持久化102
5.4運(yùn)行Spark程序103
5.5本章小結(jié)104
第6章廣告點(diǎn)擊流實(shí)時統(tǒng)計(jì)105
6.1數(shù)據(jù)集分析105
6.2實(shí)現(xiàn)思路分析105
6.3表設(shè)計(jì)106
6.4實(shí)現(xiàn)廣告點(diǎn)擊流實(shí)時統(tǒng)計(jì)107
6.4.1生成用戶行為數(shù)據(jù)107
6.4.2實(shí)現(xiàn)Spark程序110
6.4.3數(shù)據(jù)持久化114
6.5運(yùn)行Spark程序116
6.6本章小結(jié)118
第7章數(shù)據(jù)可視化119
7.1數(shù)據(jù)映射119
7.1.1部署Phoenix119
7.1.2建立映射121
7.2FineBI的安裝與配置126
7.3實(shí)現(xiàn)數(shù)據(jù)可視化136
7.3.1新建數(shù)據(jù)集136
7.3.2實(shí)現(xiàn)熱門品類Top10的可視化142
7.3.3實(shí)現(xiàn)各區(qū)域熱門商品Top3的可視化147
7.3.4實(shí)現(xiàn)網(wǎng)站轉(zhuǎn)化率的可視化150
7.3.5實(shí)現(xiàn)廣告點(diǎn)擊流實(shí)時統(tǒng)計(jì)的可視化155
7.4本章小結(jié)159