Spark使用強(qiáng)大的函數(shù)式語言Scala開發(fā)，方便簡單同時，它還提供了對PythonJava和R語言的支持作為大數(shù)據(jù)計算框架MapReduce的繼任者，Spark具備以下優(yōu)勢特性1，高效性 不同于MapReduce將中間計算結(jié)果放入磁盤中，Spark采用內(nèi)存；LISP語言Scala是Spark的主要編程語言，但Spark還支持JavaPythonR作為編程語言LISP是一種通用高級計算機(jī)程序語言，長期以來壟斷人工智能領(lǐng)域的應(yīng)用LISP作為應(yīng)用人工智能而設(shè)計的語言，是第一個聲明式系內(nèi)函數(shù)式程序設(shè)計語。

l MLlib是Spark實現(xiàn)一些常見的機(jī)器學(xué)習(xí)算法和實用程序，包括分類回歸聚類協(xié)同過濾降維以及底層優(yōu)化，該算法可以進(jìn)行可擴(kuò)充 MLRuntime 基于Spark計算框架，將Spark的分布式計算應(yīng)用到機(jī)器學(xué)習(xí)領(lǐng)域 3Spark MLlib架構(gòu)解析 本回答由；當(dāng)用Spark編程時，開發(fā)人員需要根據(jù)變化的需求不斷地重新編碼代碼Scala是靜態(tài)類型語言，盡管它看起來像一種動態(tài)類型語言，因為它具有優(yōu)雅的類型推斷機(jī)制作為靜態(tài)類型語言，Scala仍然提供編譯器來捕獲編譯時錯誤重構(gòu)像Scala；據(jù)統(tǒng)計，基于Spark內(nèi)存的計算速度比Hadoop MapReduce快100倍以上，基于磁盤的計算速度也要快10倍以上2開發(fā)難易度 Spark提供多語言包括ScalaJavaPythonAPI，能夠快速實現(xiàn)應(yīng)用，相比MapReduce更簡潔的代碼，安裝部署也無；Scala，也可以是說大數(shù)據(jù)Spark開發(fā)的主力語言了，因為當(dāng)你學(xué)習(xí)Spark后，就一定會對Scala有進(jìn)一步的研究與學(xué)習(xí)，因為為了學(xué)好Spark技術(shù)你需要研究源碼需要更簡潔快速開發(fā)項目從而Spark大數(shù)據(jù)開發(fā)語言Scala是最多Python，在機(jī)器；1，Spark框架是采用Scala語言編寫的，精致而優(yōu)雅要想成為Spark高手，你就必須閱讀Spark的源代碼，就必須掌握Scala，2， 雖然說現(xiàn)在的Spark可以采用多語言JavaPython等進(jìn)行應(yīng)用程序開發(fā)，但是最快速的和支持最好的開發(fā)API依然；大數(shù)據(jù)開發(fā)需掌握Kafka架構(gòu)原理及各組件的作用和使用方法及相關(guān)功能的實現(xiàn)！13ScalaScala是一門多范式的編程語言，大數(shù)據(jù)開發(fā)重要框架Spark是采用Scala語言設(shè)計的，想要學(xué)好Spark框架，擁有Scala基礎(chǔ)是必不可少的，因此，大數(shù)據(jù)開發(fā)；3數(shù)據(jù)清洗MapReduce作為Hadoop的查詢引擎，用于大規(guī)模數(shù)據(jù)集的并行計算4數(shù)據(jù)查詢分析Hive的核心工作就是把SQL語句翻譯成MR程序，可以將結(jié)構(gòu)化的數(shù)據(jù)映射為一張數(shù)據(jù)庫表，并提供HQLHiveSQL查詢功能Spark啟用了內(nèi)存；n火花火星電火花指品質(zhì)或感情一星，絲毫，一丁點averysmallburningpieceofmaterialthatisproducedbysththatisburningorbyhittingtwohardsubstancestogetherAsparkisatinybrightpieceofburningmaterialthatfliesupfromsomething。

語言不同Scala 是一門函數(shù)式語言，Java是面向?qū)ο笳Z言，二者在語言特點上差異特別大但是scala也是運行在java虛擬機(jī)上，兩者可以方便的互相調(diào)用Spark作為一個數(shù)據(jù)統(tǒng)計分析的工具，它是偏向于函數(shù)式處理的思想，因此在spark；1解決問題的層面不一樣 首先，Hadoop和Apache Spark兩者都是大數(shù)據(jù)框架，但是各自存在的目的不盡相同Hadoop實質(zhì)上更多是一個分布式數(shù)據(jù)基礎(chǔ)設(shè)施 它將巨大的數(shù)據(jù)集分派到一個由普通計算機(jī)組成的集群中的多個節(jié)點進(jìn)行存儲；3Linux系統(tǒng)和Hadoop生態(tài)體系大數(shù)據(jù)的開發(fā)的框架是搭建在Linux系統(tǒng)上面，Hadoop是一個大數(shù)據(jù)的基礎(chǔ)架構(gòu)，它能搭建大型數(shù)據(jù)倉庫，PB級別數(shù)據(jù)的存儲外理分析統(tǒng)計等業(yè)務(wù)4分布式計算框架和SparkStrom生態(tài)體系有一定的。

就個人體會來說，Scala相對于Java的優(yōu)勢是巨大的熟悉Scala之后再看Java代碼，有種讀匯編的感覺如果僅僅是寫Spark應(yīng)用，并非一定要學(xué)Scala，可以直接用Spark的Java API或Python API但因為語言上的差異，用Java開發(fā)Spark；多Spark支持JAVA等多種開發(fā)語言，支持Scala的API，支持多種高級算法，使用的用戶還是很多的，可以使用戶可以快速構(gòu)建不同的應(yīng)用。