1. 程式人生 > >AWS 案例研究:小紅書

AWS 案例研究:小紅書

小紅書的資料團隊在2015年3月成立並以AWS雲平臺為基礎搭建起完整的資料處理系統,所使用的AWS雲服務包括Amazon EC2、Amazon S3、Amazon EMR、Amazon Kinesis、Amazon RedShift等,圖1是小紅書資料處理系統架構圖。

AWS雲平臺使小紅書的資料團隊能夠快速起步。最初,小紅書利用Amazon S3和Amazon RedShift來同步業務資料庫的交易資料,隨後開始使用Amazon S3、Amazon EMR和Amazon RedShift進行使用者日誌的解析和同步;Amazon RedShift則作為資料倉庫,承擔大量後續的BI分析工作。隨著小紅書電商業務對時效性要求的提高,小紅書又利用Amazon Kinesis來實時地解析同步使用者行為日誌,並開發了銷售實時監控系統。使用AWS使小紅書在兩個方面獲益匪淺:其一是大幅度縮短了資料處理系統上線的時間;其二是改變了整個公司的業務模式。

使用AWS的資料處理服務帶來的效率提升是明顯的。如果沒有AWS,要搭建一個可用的日誌分析系統,需要好幾位工程師,花幾個月的時間才能完成,而有了AWS的資料服務,小紅書的2位工程師在兩週內就搭建起整個系統並且正式用在生產環境中。此外,解決新資料需求的速度也明顯提升。相比每次從業務後端資料庫寫程式碼拉取資料,從資料倉庫進行SQL查詢則顯著提升了效率,把過去幾個小時的工作量縮減為幾分鐘。最重要的是,AWS的雲服務使小紅書建立一個“小而美的資料團隊”成為現實,從而可以快速嘗試新的模型和新的資料處理方式,找到最適合的資料解決方案。

AWS帶來的另一個好處是使小紅書團隊的工作方式發生了很大的改變,成為一個數據驅動的團隊,無論是電商、社群,甚至市場團隊,如今都是在資料的指導下開展業務,公司的決策,業績考核也都依賴於資料。例如,電商部門在採購和選品時一定會先看資料,找出社群裡經常談論、點讚的商品;在市場推廣活動中,過去是通過發紅包、做廣告或者在合作伙伴的App裡進行推廣來吸引新使用者,現在則根據資料分析結果,採用流行的“增長黑客”的方式,考察活躍使用者、沉寂使用者的轉換比,以此評價市場推廣活動的效果。產品的升級更新也以資料為依據,例如,如果後臺系統顯示開啟App的使用者很多,但並沒有完成註冊和購物,開發團隊就會優化產品,讓使用者無需註冊,就可以先到社群裡玩一玩,有興趣了,就可能註冊成為真正的使用者。

目前,小紅書資料團隊正在持續優化其資料處理架構,包括提供更直觀的展示平臺、提升處理速度等,同時包括Spark在內的離線計算系統也開始投入使用。

相關推薦

AWS 案例研究

小紅書的資料團隊在2015年3月成立並以AWS雲平臺為基礎搭建起完整的資料處理系統,所使用的AWS雲服務包括Amazon EC2、Amazon S3、Amazon EMR、Amazon Kinesis、Amazon RedShift等,圖1是小紅書資料處理系統架構圖。

AWS 案例研究花金服

小花錢包致力於用金融科技創造更美好的生活方式,為年輕人打造品質生活。以技術與資料驅動支撐業務發展,通過Marketing AI、Risk AI、Devops AI實現自動化精準獲取客戶,自動化審批,自動化運維。IT架構要求高可用、高可靠、易擴充套件、快速響應;資料要求高度一致、安全;公

AWS 案例研究雨點網貸

使用AWS雲平臺使小雨點網貸在三個主要方面獲益匪淺。 其一是快速上線,快速部署。AWS提供了豐富的資源,可以隨取隨用,毋需進行預先的流量估量,預購額外裝置應對高峰時的冗餘。這使得小雨點網貸新專案上線的時間大幅度縮短,以前在新專案上線時,完成主機獲取、執行環境搭建等

AWS 案例研究Remind

Amazon Web Services 誠聘精英。 Amazon Web Services (AWS) 是 Amazon.com 的一個充滿活力、不斷壯大的業務部門。我們現誠聘軟體開發工程師、產品經理、客戶經理、解決方案架構師、支援工程師、系統工程師以及設計師等人才。請訪問我

AWS 案例研究 Ubisoft

Amazon Web Services 誠聘精英。 Amazon Web Services (AWS) 是 Amazon.com 的一個充滿活力、不斷壯大的業務部門。我們現誠聘軟體開發工程師、產品經理、客戶經理、解決方案架構師、支援工程師、系統工程師以及設計師等人才。請訪問我

AWS 案例研究輝瑞製藥有限公司

輝瑞製藥有限公司 HPC 研發負責人 Michael Miller 博士解釋了輝瑞製藥有限公司最初考慮使用 Amazon Web Services (AWS) 應對其高峰計算需求的原因:“Amazon Virtual Private Cloud (Amazon VPC) 是一個獨特的選

AWS 案例研究Thomson Reuters

網路直播是多媒體解決方案部門的一項核心服務。事實上,該公司支援世界上 5 000 家公司的網路直播需求;這些公司中的大多數都需要分發監管的金融資訊,例如季度業績和前瞻性宣告。這些內容中的大部分都必須公開發布,而網路直播相較於先前非常流行的電話會議,要更為便捷且經濟高效。

AWS 案例研究The Seattle Times

為解決關鍵的可擴充套件性問題,The Seattle Times 工程團隊考慮了包括本地自託管和更靈活的託管等多種替代託管方案,並比較了多家雲服務提供商。該團隊最終認為,市面上提供的雲方案可以實現他們需要的靈活性、合理架構和期望的成本節約。最終,該公司選擇了 Amazon Web Se

AWS 案例研究Localytics

Amazon Web Services 誠聘精英。 Amazon Web Services (AWS) 是 Amazon.com 的一個充滿活力、不斷壯大的業務部門。我們現誠聘軟體開發工程師、產品經理、客戶經理、解決方案架構師、支援工程師、系統工程師以及設計師等人才。請訪問我

AWS 案例研究LIONSGATE

Miller 介紹了 LIONSGATE 使用 AWS 後的一些體驗:“我們能夠使用 AWS 將部署基礎設施所需的時間從數週縮短至幾天或幾小時;執行生產 SharePoint 工作負載,併為我們的 SAP 應用程式進行測試和開發。更快的週轉是我們部門的成功要素,它同樣適用於試圖對市場上

AWS 案例研究Unilever

對超過 16 家公司執行全面的 RFP 和稽核過程後,Unilever 選擇了 Amazon Web Services (AWS)。Unilever 在選擇數字營銷平臺時優先考慮的事項包括,靈活性、全球基礎設施、技術以及豐富的生態系統成員。“利用 AWS,我們可以在所有地區採用同一個託

AWS 案例研究Illumina

Amazon Web Services 誠聘精英。 Amazon Web Services (AWS) 是 Amazon.com 的一個充滿活力、不斷壯大的業務部門。我們現誠聘軟體開發工程師、產品經理、客戶經理、解決方案架構師、支援工程師、系統工程師以及設計師等人才。請訪問我

AWS 案例研究Flipboard

Flipboard 擁有成百上千個執行中的 Amazon EC2 例項,並且該數字還在隨其增加的使用者群和功能集而不斷增長。Scallan 說:“只需一些工程師,我們就能在大約 6 個月內完成從概念到產品交付的過程,而這很大程度上是因為在一個有效的雲基礎設施中進行部署非常迅速。”

AWS 案例研究巴塞羅那足球俱樂部

巴塞羅那足球俱樂部線上業務經理 Lluí­s Alsina 告訴我們,他們是因為 AWS 的彈性和按需付款模式才選擇它的。Gnuine 的首席技術官 Ramon Salvadó 對個這個決定非常滿意。他評論說:“我們在過去幾個專案中獲得很多有關使用 AWS 經驗,而且所有結果都很不錯。

AWS 案例研究西頓霍爾大學

在成本分析中,Soupios 發現,與使用本地基礎設施相比,執行 AWS 可以顯著節約年度成本。“每月執行 AWS 的費用約為 40 USD。”Soupios 說,“然而如果我們必須構建自己的基礎設施並對其提供支援,則每年需支付的費用將超過 30000 USD。”

AWS 案例研究nearmap

Amazon Web Services 誠聘精英。 Amazon Web Services (AWS) 是 Amazon.com 的一個充滿活力、不斷壯大的業務部門。我們現誠聘軟體開發工程師、產品經理、客戶經理、解決方案架構師、支援工程師、系統工程師以及設計師等人才。請訪問我

AWS 案例研究蘭博基尼汽車有限公司

在使用 Amazon Web Services (AWS) 之前,蘭博基尼汽車有限公司考慮了三種可能的方案: (1) 現場資料中心,但這非常昂貴; (2) 本地託管提供商,不提供可擴充套件性;或 (3) 雲端計算。該公司決定利用雲端計算的可擴充套件性、靈活性和成本效益,於是便選擇了 AW

AWS 案例研究Coursera 與 EC2 Container Service

Amazon Web Services 誠聘精英。 Amazon Web Services (AWS) 是 Amazon.com 的一個充滿活力、不斷壯大的業務部門。我們現誠聘軟體開發工程師、產品經理、客戶經理、解決方案架構師、支援工程師、系統工程師以及設計師等人才。請訪問我

AWS 案例研究Airport Nuremberg

Airport Nuremberg 需要一種靈活且可擴充套件的環境來支援對其網站不斷變化的需求,且允許機場繼續開發基於 Internet 的服務。此外,解決方案必須符合德國資料合規性要求。負責業務拓展和新媒體管理的 Christian Kaeser 說道:“我們的網站包含客戶的個人資訊

AWS 案例研究Airbnb

在釋出 Airbnb 一年後,由於使用原有提供商時遇到了服務管理問題,該公司決定將其幾乎所有的雲端計算功能遷移到 Amazon Web Services (AWS)。Airbnb 的聯合創始人兼首席技術官 Nathan Blecharczyk 表示: “起初,AWS 的吸引力在於它可以