“大數(shù)據(jù)”時代下如何處理數(shù)據(jù)？

大數(shù)據(jù)被越來越多的人提起，其價值也逐漸深入人心。但，大數(shù)據(jù)是如何處理的，很多人并不知道。其實，通常大數(shù)據(jù)處理方式包括兩種，一種是實時處理，另一種則為離線處理。

1.實時處理方式

現(xiàn)實生活中，需要我們對某些大數(shù)據(jù)進行及時處理，然后進行快速呈現(xiàn)，

我們可以將日常生活中產(chǎn)生的數(shù)據(jù)想象成水流，流處理方式就是在處理這些水流，數(shù)據(jù)“水流”不斷流入到實時處理分析引擎中。

需要注意的是，這個引擎并不會對數(shù)據(jù)進行積壓，而是不停的進行加工，并對將結果數(shù)據(jù)快速流入相應業(yè)務場景中，從而讓數(shù)據(jù)得到快速呈現(xiàn)。

比較常見框架包括Storm，Spark和Samza。

2.離線處理

離線處理方式已經(jīng)相當成熟，它適用于量龐大且較長時間保存的數(shù)據(jù)。在離線處理過程中，大量數(shù)據(jù)可以進行批量運算，使得我們的查詢能夠快速響應得到結果。

商業(yè)中比較常見的，就是使用HDFS技術對數(shù)據(jù)進行儲存，然后使用MapReduce對數(shù)據(jù)進行批量化理，然后將處理好的數(shù)據(jù)進行存儲或者展示。其中，HDFS是一種分布式文件系統(tǒng)，而MapReduce則是一種分布式批量計算框架。