大數據平臺的軟件有哪些?
這個要分好幾塊來講,首先我要說明的是大數據項目也是要有很多依賴的模塊的。每個模塊的軟件不壹樣,下面分別聊壹下。
壹、大數據處理
這個是所謂大數據項目中最先想到的模塊。主要有spark,hadoop,es,kafka,hbase,hive等。
當然像是flume,sqoop也都很常用。
這些軟件主要是為了解決海量數據處理的問題。軟件很多,我只列幾個經典的,具體可以自行百度。
二、機器學習相關
大部分大數據項目都和機器學習相關。因此會考慮到機器學習的壹些軟件,比如說sklearn,spark的ml,當然還有自己實現的代碼。
三、web相關技術
大部分項目也都跑不了壹個web的展示,因此web就很重要的,java的ssh,python的django都可以,這個看具體的項目組習慣了。
四、其它
還有壹些很常用的東西,個人感覺不完全算是大數據特定使用範圍。反正我在做大數據項目的時候也都用到了。
比如說數據存儲:redis,mysql。
數據可視化:echart,d3js。
圖數據庫:neo4j。
再來說說大數據平臺的軟件或者工具:
1、數據庫,大數據平臺類,星環,做Hadoop生態系列的大數據平臺公司。Hadoop是開源的,星環主要做的是把Hadoop不穩定的部分優化,功能細化,為企業提供Hadoop大數據引擎及數據庫工具。
2、大數據存儲硬件類,浪潮,很老牌的IT公司,國資委控股,研究大數據方面的存儲,在國內比較領先。
3、雲計算,雲端大數據類,阿裏巴巴,明星產品-阿裏雲,與亞馬遜AWS抗衡,做公有雲、私有雲、混合雲。實力不差,符合阿裏巴巴的氣質,很有野心。
4、數據應用方面這個有很多,比如帆軟旗下的FineReport報表系統和FineBI大數據分析平臺等。
帆軟是商業智能和數據分析平臺提供商,從報表工具到商業智能,有十多年的數據應用的底子,在這個領域很成熟,目前處於快速成長期,但是很低調,是壹家有技術有實力而且對客戶很真誠的公司。