1. 程式人生 > >阿里資料分析師面試準備二:對阿里資料分析師崗位的理解

阿里資料分析師面試準備二:對阿里資料分析師崗位的理解

為了準備面試,對阿里公司、技術做了大致瞭解,分析了下資料分析師在阿里的用武之地。

UED

如何在網際網路的大資料時代,將用研傳統研究方法(問卷、訪談、測試等)與資料探勘、分析方法結合,將對使用者的洞察、研究與大資料結合,從而讓我們更精準的瞭解使用者、認識使用者,甚至預測使用者的行為和偏好,這既是我們的挑戰,也是用研這個新興行業的發展方向和機會。

共享業務平臺

推薦系統

我們有著海量的商品、店鋪以及使用者資料,在這樣大資料的環境下,資訊過載成為嚴重製約網站發展的因素,個性化推薦系統應運而生。無論是在為買家選品提供個性化資訊服務,還是為賣家做精細化店鋪運營提供決策支援,以及網站自身的日常運營,推薦系統在其中都承擔了非常重要的作用。

大資料

集團自主研發的單一離線計算叢集已經達到5000臺伺服器的規模,單一叢集有效儲存空間為96PB、CPU總核數為115488個,達到世界領先水平,並已投入生產環境持續穩定執行。同時,實現了跨IDC多個離線計算叢集間的大規模資料複製與訪問,並對使用者完全透明。

資料平臺具備完整資料處理能力:

1)        多個數千臺伺服器組成的大型離線計算叢集處理數百PB包括交易、支付、搜尋、廣告等多樣的商業資料;

2)        流式計算叢集和支援任意維度分析的即時計算叢集給線上系統提供高併發實時計算和查詢服務;

3)        分散式關係資料庫為每天數千萬筆線上交易提供高併發、高可靠事務支撐。

演算法平臺

演算法平臺為大資料統計分析、機器學習、和商業模型提供各種演算法和分析工具,支援金融與信用、廣告和推薦、商業智慧、以及資料質量監控等業務場景,在5000臺叢集上提供MPI、BSP、MapReduce等多種計算模型,實現了大規模基礎統計、分類、聚類、矩陣分解、圖演算法、評分卡、等一系列演算法。

主要研發方向:

1)        加速推動搜尋、廣告、推薦、和社交網路應用模式的融合,開發以人群和興趣為核心的新一代精準營銷演算法(適合演算法建模、搜尋和廣告相關專業)。

2)        不斷髮展和改進機器學習演算法的規模和效能,在大規模機器學習演算法上不斷創新,例如:Boosting、DeepLearning、隨機演算法、等(適合機器學習和數學專業)。

3)        基於最新的大資料基礎統計理論進展,研發大資料傳輸和處理中的資料特徵和資料質量分析與監控方法(適合數學和數理統計專業)。

4)        不斷改進MPI和BSP等基本計算模型的規模和效能,並開發更簡潔的分散式演算法程式設計模型(適合分散式系統和程式語言專業)。

線上推廣技術

演算法技術

為了給買家提供最合適、最需要的商品,為賣家提供高轉化率、高ROI的推廣投放效果,為整個淘寶推廣平臺提升RPM,在使用者意圖分析、使用者意圖和推廣的匹配、個性化推薦演算法、推廣CTR和轉化率ROI提升、以及自然語言處理和機器學習基礎演算法的研究等方面都進行了大量的投入和深入的研究:

1)        優化搜尋推廣、搜尋匹配等環節;挖掘和建立使用者基本屬性資料庫;

2)        建立了針對海量資料和特徵的統一機器學習平臺,配合大規模機器學習演算法平臺,自動化的評測平臺,為快速的演算法試驗及新業務模型的快速生成提供強大支援;

3)        基於使用者行為資料,利用潛在語義分析演算法(Topic Modeling)等技術,自動分析使用者行為背後的動機和偏好;將Online learning和Deep learning等技術應用於推廣匹配和點選率預估應用;

4)        優化了NLP基礎演算法、業內效能一流的eTREC推薦演算法包,在分鐘級別完成上億使用者和上億商品的日誌資料處理。

引擎技術

在淘寶巨大的流量和海量商品的基礎上,推廣引擎提供了穩定、可靠、高效能的商品精準推薦服務。解決了在10+億推廣詞、幾千萬商品中,準確識別數十億次網站訪問的意圖,精準、快速選取符合購物者需要的商品進行推薦,並幫助淘寶平臺的銷售商進行營銷活動。

具有自主智慧財產權的分散式推廣檢索系統和線上推廣ranking系統,能夠提供幾十億推廣索引、檢索能力,為上百億次查詢提供推廣;

1)        分散式大資料量處理系統、資料的實時計算系統、推廣實時更新系統;

2)        基於RTB的推廣交換系統Tanx,支援幾十億推廣和20幾家DSP的推廣交換;

3)        實現了10多億推廣詞和幾千萬商品的檢索。latency在40ms的數量級進行推廣商品推薦。目前支援流量峰值過百億。

 最後說下阿里的價值觀:

阿里巴巴價值觀

我們堅持“客戶第一、員工第二、股東第三”。

阿里巴巴集團有六個核心價值觀,是我們企業文化的基石和公司DNA的重要部分。該六個核心價值觀為:

客戶第一:客戶是衣食父母

團隊合作:共享共擔,平凡人做非凡事

擁抱變化:迎接變化,勇於創新

誠信:誠實正直,言行坦蕩

激情:樂觀向上,永不言棄

敬業:專業執著,精益求精