1. 程式人生 > >大資料到底從何而來?你知道幾個資料來源供應平臺?

大資料到底從何而來?你知道幾個資料來源供應平臺?

 國內外比較知名的資料API產品,基礎性的可能更多會選擇百度APIStore、聚合資料、Haoservice;而對於行業、專業有特別需求的使用者來說,通聯資料、Apix會使不錯的選擇;如果是需求國內社交、電商、資訊平臺的資料,可以考慮數說聚合;如果是要國外資料,小編則比較推薦Datasift。讀者可根據自身的需求,選擇最適合的API。我們都知道一句話“巧婦難為無米之炊”,資料來源就是讓資料產生價值中的那些大米。那大資料時代企業需要哪些資料呢?根據我個人理解我覺得可以大致分為以下幾類:

1、(內部)企業自身業務生產經營環節產生的內部資料,包括銷售、客服、倉儲、財務等;

2、(運營)可以理解為企業發展過程中掌握在第三方手中的資料,如企業的廣告供應商以及一些傳播與媒體資料,新媒體、H5、app等;

3、(外部)包括傳統調研資料和機器資料,搜尋、電商、社交等。而對於外部資料的獲取上,企業往往會覺得有難度,這時候就可以藉助API供應商的力量來補充自己的資料來源。

先來科普個概念,開放應用程式的API(即Application Program Interface,應用程式介面)可以讓開發者在無需訪問原始碼,或理解內部工作機制細節的情況下,呼叫他人共享的功能和資源。在資料來源的獲取上API是個好夥伴。本文將介紹7款API供應平臺:百度APIStore、Apix、數說聚合、通聯資料、HaoService、聚合資料、datasift (排名不分先後)。

一、功能對比

 

大資料從何而來?不得不知的7個數據源供應平臺

 

二、詳細介紹

1、百度API Store

 

大資料從何而來?不得不知的7個數據源供應平臺

 

百度旗下的API Store,能夠滿足大部分個人應用開發者,特別是其最近推出的Android和IOS SDK。其介面分類較細,但是感覺有一些分類之間存在交集,沒有明顯的邊界區分。介面、資料更新速度也比較快,支援個人釋出與定製化服務,上千的介面量基本可以滿足一般開發者的需求。提供移動開發SDK,移動開發者可呼叫API Store服務所開發的SDK包,加上API文件清晰明瞭,上手簡單。

缺點就是由於介面雜亂繁多且來源不一,部分介面的質量、穩定性沒有保證。

2、Apix

 

大資料從何而來?不得不知的7個數據源供應平臺

 

Apix更多是面向小貸機構、網際網路金融、租賃保理等行業客戶,除了提供身份核驗、工商資訊、失信名單、支付繳費等介面,還有包括電商、學歷資訊、運營商記錄、信用卡賬單等分析服務。其資料分類包括徵信風控、支付繳費和常用資料,而徵信風投是其主打資料。由於這類資料具有專業性,因此收費相比其他API會稍微偏高。

介面大多數是Apix自主開發,質量有保證,部分核查介面的高階版還能聯網檢測,就是介面的數量確實有點少。

3、聚合資料

 

大資料從何而來?不得不知的7個數據源供應平臺

 

聚合資料跟百度的APIStore有點像,介面包括生活、旅遊、金融、開發、諮詢等分類,還比較全面,更加適合對介面質量和穩定性有較高要求的公司或企業級應用的開發者。但是並不支援個人釋出,因此介面的質量和穩定性會比較好,但也正因為這樣介面量大大減少。

聚合資料給我的感覺更像是致力於打造高質量API,不求廣而求精。不過申請使用介面需要實名認證和稽核,算是雙刃劍吧,對於買賣雙方來說是一個保障,但是對於試用者來說是一個不太好的體驗。

4、HaoService

 

大資料從何而來?不得不知的7個數據源供應平臺

 

Haoservice近期更新後推出了原始碼商城,使用者可在上面直接購買商城、管理系統、UDP通訊源、釋出系統等原始碼。總體來說比較適合公司或企業級應用的開發者。其主打生活服務類介面,主推基站、定位、地址解析、座標服務等API,目前僅支援企業使用者釋出介面,因此介面的質量和穩定性有保障,但介面數量也是一個痛點。VIP級別以上使用者可進行個性化定製,且有專人24小時技術支援,服務到位。

5、通聯資料

 

大資料從何而來?不得不知的7個數據源供應平臺

 

通聯資料提供行情、滬深股市/期權、債券、基金、諮詢、研究報告等API,適合金融類應用和金融諮詢網站、平臺的開發者,以及從事金融行業的分析、業務人員。通聯資料主要做金融大資料,上千的資料介面可以滿足金融行業的大部分需求。

資料有API和研報兩種格式,介面來源於自主研發或恆生聚源、九次方大資料、華通人、朝陽永續、中誠信資訊、巨靈財經等企業。

6、數說聚合

 

大資料從何而來?不得不知的7個數據源供應平臺

 

數說聚合跟上面的資料API不同,面向的客戶不只是大資料應用開發者,對網際網路資料有強烈需求的各行業分析師、業務人員、運營人員同樣可以通過數說聚合拿到你們想要的資料。資料覆蓋範圍廣泛,包括國內社交、新聞、電商、網際網路垂直領域等多平臺多維度的資料。使用者可以通過介面呼叫、檔案下載等方式獲取資料。介面完全自主研發,質量、穩定性十分有保障,且支援個性化定製。

不過目前只面向企業使用者,個人使用者想要使用可能還需要一段時間。

7、Datasift

 

大資料從何而來?不得不知的7個數據源供應平臺

 

Datasift的性質與數說聚合相似,其資料基本覆蓋國外主流網站,包括Facebook、Tumblr、Google+、YouTube、Instagram等,且提供資料分析服務。來源於國外站點的資料質量較好,不過可能是伺服器在國外的原因,響應會有明顯的延遲;而國內站點資料的話,小編曾經在datasift購買微博資料(當時在國外無法通過國內公司購買微博的資料),資料質量只能說一般。

其業務目前暫未向國內市場開放,只能通過特殊途徑購買。

以上是國內外比較知名的資料API產品,基礎性的可能更多會選擇百度APIStore、聚合資料、Haoservice;而對於行業、專業有特別需求的使用者來說,通聯資料、Apix會使不錯的選擇;如果是需求國內社交、電商、資訊平臺的資料,可以考慮數說聚合;如果是要國外資料,小編則比較推薦Datasift。讀者可根據自身的需求,選擇最適合的API。

以上就是資料來源的供應平臺,在大資料時代企業更加關注資料的價值,如何採用並從中獲得商業性的利益至關重要。

結語

感謝您的觀看,如有不足之處,歡迎批評指正。

為了幫助大家讓學習變得輕鬆、高效,給大家免費分享一大批資料,幫助大家在成為大資料工程師,乃至架構師的路上披荊斬棘。在這裡給大家推薦一個大資料學習交流圈:658558542 歡迎大家進群交流討論,學習交流,共同進步。

當真正開始學習的時候難免不知道從哪入手,導致效率低下影響繼續學習的信心。

但最重要的是不知道哪些技術需要重點掌握,學習時頻繁踩坑,最終浪費大量時間,所以有有效資源還是很有必要的。

最後祝福所有遇到瓶疾且不知道怎麼辦的大資料程式設計師們,祝福大家在往後的工作與面試中一切順利。