大數據發展至今，提起大數據計算引擎，Spark一定是不能忽視的一個。經過近年來的發展，Spark在大數據領域的市場占有率也在不斷提升，可以自己獨立支撐集群運行，也可以與Hadoop生態集成運行，因此廣受歡迎。下面和大家講講，Spark在大數據生態當中的定位如何?

早期的大數據，Hadoop框架受到的重用是顯而易見的，而隨著大數據處理新的數據處理需求產生，Hadoop在實時數據流計算上的劣勢開始顯現出來。而Spark正是在這樣的背景下誕生，可以看做是對于Hadoop MapReduce計算框架的替代和改進。

Spark同樣基于分布式集群進行并行計算，完成計算任務，相對于MapReduce，很大的一個改變在于，將原本在磁盤上運行的任務轉移到內存當中來進行，而基于內存計算的效率，相比基于磁盤計算，確實要快得多。

另外，相比于MapReduce固定只支持map和reduce兩種任務類型，Spark繼承了MapReduce的模式，但是支持更多的任務類型，也能適應更多的計算場合。Spark對分布式大數據處理的抽象處理，讓用戶不必像寫MapReduce一樣，太關注底層的實現邏輯，而是在處理層次上投入更多精力。Spark解決的核心問題，是數據計算任務的解決，對于數據存儲以及任務調度，還需要依靠其他工具來執行。

Spark的工作需要配合存儲層，例如Hadoop中的HDFS分布式文件存儲或者MongoDB、Cassandra這類數據庫來完成。同時，它還需要一個集群的管理器，比如YARN、Mesos等用來管理相應的數據處理任務。當然Spark自己也提供集群管理功能，這樣集群的每個節點都需要安裝Spark，用于進行任務的編排。

發展至今，Spark已經形成了相對完備的大數據處理生態，包括Spark ML用來處理基于大量數據的機器學習任務，Spark Streaming用于處理小批量的流式數據等。

Spark在大數據生態當中的定位如何?需要知道的是，Spark作為大數據處理引擎，雖然并不能解決所有環節的問題，但是對于絕大部分問題，都能給出合適的方案，不管是獨立運行還是集成運行，Spark系統的可用性都很高。

更多培訓課程： 深圳大數據 更多學校信息： 深圳龍華達內IT教育培訓 咨詢電話：