• 系統的技術選型以及可行性評估
• 分布式技術框架的把控
• 深入挖掘和分析業務需求,重點模塊的設計,方案的評審與技術支持,技術難點攻關,分布式系統技術如何落地,撰寫技術方案和系統設計文稿,指導開發人員完成編碼工作
• 針對產品性能和架構優化,確保系統的架構質量
• 優秀的抽象設計能力,思路清晰,善於思考,能獨立分析和解決問題.

具體可能需要掌握以下內容

• 熟悉*nix,熟練應用shell/python etc.
• 紮實的java基礎知識,熟悉IO,多線程以及並發編程
• 熟悉掌握緩存,NoSQL,Netty,kafka等中間件技術
• 對JVM原理有紮實理解,對服務端設計與編程有深入理解,能夠進行JVM調優
• 熟悉常見的數據結構,熟悉常用的設計模式,深入理解分布式算法和主流分布式系統,熟悉主流消息隊列及其工作原理(sort/index/store/smooth/duplicate removal)
• 有豐富的分布式,高並發,高負載,高可用性系統設計經驗,熟悉分布式緩存,消息機制等

大數據架構師

• 針對大數據平臺的設計和開發制定數據架構規範,進行核心代碼編寫
• 針對數據基礎架構和數據處理系統進行升級和優化,技術難題攻關,持續提升核心系統性能,保證系統安全高效平穩運行
• 大規模數據實時化,技術容器化,私有雲實施技能方案,數據模型規範化等
• 跟蹤大數據相關領域技術趨勢,競品的發展以及技術動態
• 精通或熟練掌握大數據生態的技術和產品:Hive,Storm,Flink,Spark,ELK,Kafka,Zookeeper,Yarn,presto,對spark分布式計算的底層原理有深入理解,對復雜系統的性能優化和穩定性有實踐經驗
• 精通或熟練數據倉庫設計,深刻理解MR運行原理和機制,能進行任務執行效率優化,熟悉開源數據交換工具:sqoop,Streamset,kettle,datax etc.
• 善於捕捉業務需要,根據需要規劃架構設計,給出相應的解決措施和方法.
• 加分項:數據預測,預警,人工智能,圖像識別,語音智能,物聯網數據收集,標等.線性計算,神經網絡,知識圖譜.

二者異同:
異:java系統架構師偏重於分布式,高可用,可並發,容錯等.熟練掌握支撐業務的系統架構或工具集
大數據架構師偏重於人工智能,商業智能,數據挖掘,離線,實時等高效率高可用的結構化數據,半結構化數據.熟悉hadoop生態圈子,使用各種模型組件集來解決問題.
同:降本增效,提高效率,創造價值.

系統架構師(java)和大數據架構師