二、Hadoop平臺(tái)架構(gòu)師
工作職責(zé):
1. 負(fù)責(zé)搭建、維護(hù)與管理Hadoop平臺(tái),以及Haddop平臺(tái)上的數(shù)據(jù)存儲(chǔ)、維護(hù)與優(yōu)化。
2. 參與基于Hadoop中間件的設(shè)計(jì)開發(fā)工作。
3. 參與離線處理流程和實(shí)時(shí)處理流程的設(shè)計(jì)開發(fā)工作。
任職要求:
1. 精通分布式數(shù)據(jù)處理,有三年以上的Hadoop相關(guān)開發(fā)經(jīng)驗(yàn)(Hive,Spark,HBase,Sqoop,F(xiàn)lume等)。
2. 熟悉數(shù)據(jù)倉庫邏輯架構(gòu),熟悉ETL流程、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量監(jiān)控等數(shù)據(jù)倉庫主要環(huán)節(jié)。
3. 熟悉Java、Python等開發(fā)語言,精通MapReduce,能編寫Hive UDF,熟悉shell腳本。
4. 有較強(qiáng)的ETL性能優(yōu)化及問題分析、解決能力。
5. 對技術(shù)有激情,對代碼有苛刻要求。
6. 有良好的快速學(xué)習(xí)能力和團(tuán)隊(duì)協(xié)作能力。
7. 有高度責(zé)任感和敬業(yè)精神,善于溝通,積極主動(dòng),能夠以目標(biāo)為導(dǎo)向理解工作中相關(guān)任務(wù)的處理優(yōu)先級(jí)關(guān)系。
工作職責(zé):
1. 負(fù)責(zé)搭建、維護(hù)與管理Hadoop平臺(tái),以及Haddop平臺(tái)上的數(shù)據(jù)存儲(chǔ)、維護(hù)與優(yōu)化。
2. 參與基于Hadoop中間件的設(shè)計(jì)開發(fā)工作。
3. 參與離線處理流程和實(shí)時(shí)處理流程的設(shè)計(jì)開發(fā)工作。
任職要求:
1. 精通分布式數(shù)據(jù)處理,有三年以上的Hadoop相關(guān)開發(fā)經(jīng)驗(yàn)(Hive,Spark,HBase,Sqoop,F(xiàn)lume等)。
2. 熟悉數(shù)據(jù)倉庫邏輯架構(gòu),熟悉ETL流程、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量監(jiān)控等數(shù)據(jù)倉庫主要環(huán)節(jié)。
3. 熟悉Java、Python等開發(fā)語言,精通MapReduce,能編寫Hive UDF,熟悉shell腳本。
4. 有較強(qiáng)的ETL性能優(yōu)化及問題分析、解決能力。
5. 對技術(shù)有激情,對代碼有苛刻要求。
6. 有良好的快速學(xué)習(xí)能力和團(tuán)隊(duì)協(xié)作能力。
7. 有高度責(zé)任感和敬業(yè)精神,善于溝通,積極主動(dòng),能夠以目標(biāo)為導(dǎo)向理解工作中相關(guān)任務(wù)的處理優(yōu)先級(jí)關(guān)系。
職位類別: 高級(jí)軟件工程師
舉報(bào)
- 公司規(guī)模:50 - 99人
- 公司性質(zhì):股份公司
- 所屬行業(yè):IT行業(yè)-計(jì)算機(jī)、互聯(lián)網(wǎng)、通訊、電子、儀器儀表等
- 所在地區(qū):上海-浦東新區(qū)
- 聯(lián)系人:徐方典
- 手機(jī):會(huì)員登錄后才可查看
- 郵箱:會(huì)員登錄后才可查看
- 郵政編碼:201203
工作地址
- 地址:金科路2889弄長泰廣場C座10層1004室






