大數(shù)據(jù)架構師崗位的職責內(nèi)容
大數(shù)據(jù)架構師崗位的職責內(nèi)容
大數(shù)據(jù)架構師負責大數(shù)據(jù)平臺技術框架的選型與技術難點攻關,指導開發(fā)大數(shù)據(jù)平臺的開發(fā),保證大數(shù)據(jù)產(chǎn)品的上線運行。以下是學習啦小編整理的大數(shù)據(jù)架構師崗位的職責內(nèi)容。
大數(shù)據(jù)架構師崗位的職責內(nèi)容1
職責:
1、大數(shù)據(jù)平臺架構規(guī)劃與設計;
2、負責大數(shù)據(jù)平臺技術框架的選型與技術難點攻關;
3、能夠獨立進行行業(yè)大數(shù)據(jù)應用的整體技術框架、業(yè)務框架和系統(tǒng)架構設計和調(diào)優(yōu)等工作,根據(jù)系統(tǒng)的業(yè)務需求,能夠指導開發(fā)團隊完成實施工作;
4、負責數(shù)據(jù)基礎架構和數(shù)據(jù)處理體系的升級和優(yōu)化,不斷提升系統(tǒng)的穩(wěn)定性和效率,為相關的業(yè)務提供大數(shù)據(jù)底層平臺的支持和保證;
5、培養(yǎng)和建立大數(shù)據(jù)團隊,對團隊進行技術指導。
任職要求:
1、計算機相關專業(yè)的背景專業(yè)一類院校畢業(yè)本科、碩士學位,8年(碩士5年)以上工作經(jīng)驗(至少擁有3年以上大數(shù)據(jù)項目或產(chǎn)品架構經(jīng)驗);
2、精通相關技術,精通常見開源框架的架構,精通關系數(shù)據(jù)庫系統(tǒng)(Oracle MySQL等)和noSQL數(shù)據(jù)存儲系統(tǒng)的原理和架構;
3、精通SQL和Mapreduce、Spark處理方法;
4、精通大數(shù)據(jù)系統(tǒng)架構,熟悉業(yè)界數(shù)據(jù)倉庫建模方法及新的建模方法的發(fā)展,有DW,BI架構體系的專項建設經(jīng)驗;
5、對大數(shù)據(jù)體系有深入認識,熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大數(shù)據(jù)技術,并能設計相關數(shù)據(jù)模型;
6、很強的學習Java,J2EE、分析和解決問題能力,可以迅速掌握業(yè)務邏輯并轉化為技術方案,能獨立撰寫項目解決方案、項目技術文檔;
7、具有較強的內(nèi)外溝通能力,良好的團隊意識和協(xié)作精神;
8、機器學習技術、數(shù)據(jù)挖掘、人工智能經(jīng)驗豐富者優(yōu)先考慮;
9、具有能源電力行業(yè)工作經(jīng)驗者優(yōu)先。
大數(shù)據(jù)架構師崗位的職責內(nèi)容2
職責:
1、 負責大數(shù)據(jù)倉庫、數(shù)據(jù)集市的規(guī)劃及實現(xiàn),負責大數(shù)據(jù)中臺的設計和核心開發(fā)工作;
2、 負責數(shù)據(jù)基礎架構和數(shù)據(jù)處理體系的升級和優(yōu)化,不斷提升系統(tǒng)的穩(wěn)定性和效率,為公司的業(yè)務提供大數(shù)據(jù)底層平臺的支持和保證;
3、 大數(shù)據(jù)平臺的數(shù)據(jù)采集、處理、存儲以及挖掘分析的架構實現(xiàn);
4、 研究未來數(shù)據(jù)模型和計算框架的創(chuàng)新與落地,包括但不限于以下領域:大規(guī)模數(shù)據(jù)實時化、研發(fā)模式敏捷化、數(shù)據(jù)計算框架輕量化、數(shù)據(jù)模型組織方式業(yè)務化等方面,參與制定并實踐團隊的技術發(fā)展路線
任職資格:
1、 精通數(shù)據(jù)建模、數(shù)據(jù)標準管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理;
2、 有作為技術負責人系統(tǒng)化解決問題的成功案例;有海量數(shù)據(jù)實踐經(jīng)驗優(yōu)先;
3、 熟悉目前正在發(fā)展的大數(shù)據(jù)分布式平臺前沿技術的應用;包括但不僅僅限于:hadoop、flink、spark等;
4、 性格積極樂觀,誠信,能自我驅(qū)動,有較強的語言表達能力;具備強烈的進取心、求知欲及團隊合作精神;具有良好的溝通、團隊協(xié)作、計劃和創(chuàng)新的能力; 在數(shù)據(jù)業(yè)界有一定的影響力優(yōu)先,具有風控經(jīng)驗背景的人優(yōu)先;
5、 具備獨立的深度思考能力,給出結合實際情況的較為理想的技術解決方案。
大數(shù)據(jù)架構師崗位的職責內(nèi)容3
職責:
1、對業(yè)務需求深入分析,從而進行大數(shù)據(jù)平臺核心應用的架構設計、開發(fā)和技術支持;
2、規(guī)劃業(yè)務應用系統(tǒng)和基礎平臺的技術架構,參與需求分析、建模、架構設計、技術決策以及詳細設計;
3、把握復雜系統(tǒng)的設計,確保系統(tǒng)的架構質(zhì)量,編寫核心部分代碼;
4、帶領團隊攻克例如大數(shù)據(jù)量、高并發(fā)、高穩(wěn)定性等帶來的各種挑戰(zhàn)及技術難關;
5、在大數(shù)據(jù)平臺建設路線圖指導下,進行架構實施和交付物投遞,同時確保研發(fā)質(zhì)量和方向的準確性;
6、進行團隊技術的培訓和梯隊建設崗位要求;
任職條件:
1、本科或以上學歷,計算機相關專業(yè),8年以上研發(fā)經(jīng)驗,3年以上大數(shù)據(jù)平臺相關工作經(jīng)驗;
2、精通Java開發(fā)技術,熟悉Shell、Scala語言和PYTHON優(yōu)先;
3、編程基礎扎實,熟悉I/O、多線程、集群等基礎框架和原理,熟悉分布式、緩存、消息等機制;
4、熟悉常用設計模式,代碼評審規(guī)則,單元測試,持續(xù)集成;
5、熟悉AWS云服務或阿里云服務;
6、熟悉容器技術原理、生態(tài)系統(tǒng),熟悉Docker、Mesos、Kubernetes等容器系統(tǒng)、大規(guī)模容器資源調(diào)度系統(tǒng)、分布式應用生命周期。
大數(shù)據(jù)架構師崗位的職責內(nèi)容4
職責:
1)負責大數(shù)據(jù)平臺系統(tǒng)架構設計、核心開發(fā)工作(Hadoop&Spark技術方向),基于業(yè)務場景設計最優(yōu)的系統(tǒng)解決方案。
2)構架支持大數(shù)量級的數(shù)據(jù)的大數(shù)據(jù)平臺系統(tǒng),及相關監(jiān)控,拓展系統(tǒng)設計及實現(xiàn)。
3)利用Hadoop、Spark等大數(shù)據(jù)技術對海量數(shù)據(jù)進行處理,支持BI和數(shù)據(jù)科學(建模)的應用實現(xiàn)。
4)對現(xiàn)有系統(tǒng)的進行架構深入分析及系統(tǒng)優(yōu)化,進一步提升系統(tǒng)的性能及數(shù)據(jù)處理能力。
任職資格
1)統(tǒng)招本科或以上學歷,計算機相關專業(yè), 5年以上軟件開發(fā)經(jīng)驗、3年以上大數(shù)據(jù)項目經(jīng)驗。
2)具備較豐富的大數(shù)據(jù)平臺相關構建,維護及調(diào)優(yōu)經(jīng)驗,有大數(shù)據(jù)量級下的大數(shù)據(jù)集市相關經(jīng)驗。
3)具備較豐富的基于Hadoop或Hive或Spark等大數(shù)據(jù)處理項目經(jīng)驗,具備一定的數(shù)據(jù)挖掘經(jīng)驗。
4) 具有阿里云的EMR(emapreduce)的經(jīng)驗者優(yōu)先考慮。
5)具有良好的業(yè)務理解、溝通和協(xié)作能力,具有較強的學習和總結能力。
6)優(yōu)秀的團隊合作精神、誠實、勤奮、嚴謹,敢于接受挑戰(zhàn)。
7)機器學習技術、數(shù)據(jù)挖掘經(jīng)驗豐富者優(yōu)先考慮。
大數(shù)據(jù)架構師崗位的職責內(nèi)容5
職責:
負責大數(shù)據(jù)平臺的規(guī)劃和搭建、完成大數(shù)據(jù)平臺的日常運營工作,為數(shù)據(jù)分析和展現(xiàn)提供支持;
對系統(tǒng)框架相關技術和業(yè)務進行培訓,并負責核心代碼編寫,指導團隊開發(fā)及解決出現(xiàn)的系統(tǒng)問題;
參與基于大數(shù)據(jù)平臺的創(chuàng)新業(yè)務場景進行數(shù)據(jù)產(chǎn)品的架構設計,負責數(shù)據(jù)產(chǎn)品的研發(fā)交付;
負責處理大數(shù)據(jù)平臺的疑難問題,為數(shù)據(jù)團隊提供可靠的技術支持;
負責數(shù)據(jù)質(zhì)量、穩(wěn)定性等數(shù)據(jù)管理,數(shù)據(jù)內(nèi)部共享融通的數(shù)據(jù)平臺,讓數(shù)據(jù)標準更規(guī)范、數(shù)據(jù)獲取更高效;
及時跟進大數(shù)據(jù)領域新技術并分享,提升團隊技術能力。
任職要求:
本科或以上學歷,5年以上數(shù)據(jù)系統(tǒng)建設經(jīng)驗,3年以上大數(shù)據(jù)架構設計經(jīng)驗;
精通 java,python,scala 等一種大數(shù)據(jù)開發(fā)語言,熟悉Hadoop生態(tài)圈,包括但不限于hdfs,hive,spark, 有豐富的大數(shù)據(jù)項目的實踐經(jīng)驗;
具備創(chuàng)新精神,條理清晰,溝通表達和邏輯思維能力強;
熟悉數(shù)據(jù)倉庫的設計和開發(fā),對數(shù)據(jù)架構有深入的了解和具備相關的項目實踐經(jīng)驗優(yōu)先;
對SQL on Hadoop 的開源查詢引擎(如Presto、 Apache Drill ) 原理有深入研究優(yōu)先;
有敏捷大數(shù)據(jù)和數(shù)據(jù)可視化實踐經(jīng)驗優(yōu)先。