大數據開發

什么是大數據開發

大數據作為時下火熱的IT行業的詞匯，隨之而來的數據開發、數據倉庫、數據安全、數據分析、數據挖掘等等圍繞大數據的商業價值的利用逐漸成為行業人士爭相追捧的利潤焦點。隨著大數據時代的來臨，大數據開發也應運而生。

大數據開發其實分兩種，第一類是編寫一些Hadoop、Spark的應用程序，第二類是對大數據處理系統本身進行開發。第一類工作感覺更適用于data analyst這種職位吧，而且現在Hive Spark-SQL這種系統也提供SQL的接口。第二類工作的話通常才大公司里才有，一般他們都會搞自己的系統或者再對開源的做些二次開發。這種工作的話對理論和實踐要求的都更深一些，也更有技術含量。

大數據開發方向有哪些?

目前大數據可以分成很多具體的方向：大數據平臺開發、大數據分析師(BI)、大數據運維、大數據處理(ETL)、大數據組件開發(偏大數據組件底層)。

不同的工作方向，其工作內容還是有一定差異的，下面我來說下不同工作崗位具體的工作內容：

大數據平臺開發

大數據平臺開發更偏向對整體數據平臺功能性開發，比如離線計算平臺、實時計算平臺、算法推薦平臺等等。平時用得較多的語言是Java，其更偏向于Java開發。如果用戶是上層用戶，大數據相關組件作為最低層，大數據平臺就橋接著用戶和大數據組件，方便用戶使用大數據組件的功能。

大數據分析師

大數據分析師(BI同學)更多的是對我們已有的線上數據進行價值分析，從相關的線上用戶所產生的數據中，發現出一些潛在的商業價值，能夠更好的去輔助決策層的戰略決定。BI需要對數據敏感、細心，善于從數據中發現業務價值，平常很多工作就是數據可視化、簡單化、深入化、PPT化。

大數據運維

大數據運維同學主要是保障公司相關機器集群的穩定，使得它們不能出現故障。當申請到新的機器時，會在新機器上面部署各種大數據組件組成的集群。

同樣，當有業務同學需要用到機器時，可以給大數據運維同學提需求。當大數據組件集群突然因為什么變得集群不穩定時，運維同學需要去定位問題和解決問題，運維同學平時用得較多的Linux Shell腳本和命令行等，其職位更偏向于為其他同學提供機器穩定保障。

數據研發(ETL)

ETL同學(數倉同學)則是對我們的線上數據進行數據加工，形成DWD層(公共明細層)、DWS層(公共匯總層)，形成統一的指標口徑。ETL同學會根據不同的業務需求，一般使用SQL進行數據指標的加工，指導業務同學更好的運營相關業務。

同時ETL同學更關注業務指標的口徑，在指標開發的過程中，使用數倉模型對業務數據進行建模，便于開發的指標數據更加統一，減少口徑偏差。

大數據組件開發

大數據組件開發，更多的是結合公司業務，對大數據基礎組件進行定制化開發、性能優化、BUG修復等等。同時，也需要對業務方接入進行問題答疑，指導他們使用大數據組件滿足業務需求。同時，你也需要運維你的大數據組件，當出現故障BUG時，需要你能及時修復，保證大數據組件的穩定。大數據組件開發需要對你自己運維的組件原理掌握的很全很深，只有這樣，你才能夠更好的指導別人。

大數據就業薪資狀況·

大數據技術與應用專業市場需求旺盛，對應崗位有大數據開發工程師、爬蟲工程師、數據分析師、數據科學家、數據挖掘工程師、機器學習工程師等;

大數據入門月薪已經達到了8K以上，工作1年月薪可達到1.2W以上，具有2-3年工作經驗的人才年薪可以達到30萬—50萬，一般需要大數據處理的公司基本上都是大公司，所以學習大數據專業也是進大公司的捷徑。

對于基礎人才-數據分析師，北京數據分析平均工資： 10630/月，取自15526份樣本，較2018年，增長9.4%。

對于大數據開發工程師，北京大數據開發平均工資：30230/月。

對于Hadoop開發工程師，北京hadoop平均工資：20130/月，取自1734份樣本。

對于數據挖掘工程師，北京數據挖掘平均工資： 21740/月，取自3449份樣本，較2018年，增長20.3%;

對于算法工程師，北京算法工程師平均工資：22640/月，取自10176份樣本。

大數據開發就業前景如何?

1、大數據人才缺口百萬+

2、2018年一線城市大數據開發崗位年薪30w

3、與人工智能、云計算以及電商、旅游、物流等行業的對接將更加深入，發展方向也更加廣泛。

據職業社交平臺LinkedIn發布的《2019年中國互聯網最熱職位人才報告》顯示，研發工程師、產品經理、人力資源、市場營銷、運營和數據分析是當下中國互聯網行業需求最旺盛的六類人才職位。其中研發工程師需求量最大，而數據分析人才最為稀缺。領英報告表明，數據分析人才的供給指數最低，僅為0.05，屬于高度稀缺。數據分析人才跳槽速度也最快，平均跳槽速度為19.8個月。根據中國商業聯合會數據分析專業委員會統計，未來中國基礎性數據分析人才缺口將達到1400萬，而在BAT企業招聘的職位里，60%以上都在招大數據人才。