資料視覺化如何實現？

釋放雙眼，帶上耳機，聽聽看~！

00:00

00:00

什麼是大資料？什麼又是資料視覺化？我們應該如何實現資料視覺化？

2018年我在產品方面的分享遠不如2017年，有頻繁跳槽造成積累有限的原因，有前段時間在分享中跟大家提到的心態方面的原因，最主要的原因是：自己在18年下半年接觸的產品涉及了比較底層的技術—— 大資料 。以至於非技術出身的我，必須花大量的時間放在技術相關的學習上。

今天我就把接觸大資料產品後的心得體會分享給大家，這裡首先要感謝濤哥、海哥、曉彤、谷哥等在日常工作中的耐心、無私指導，希望本文能夠給初學者或者對大資料產品感興趣的同學帶來幫助！因掌握深度有限，本次分享若有錯誤、疏漏之處，歡迎各位看客老爺隨時拍磚~

認識大資料

大資料，指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的資訊資產。

上面這段話是百度的官方解釋，在初次學習的時候我也是雲裡霧裡，為什麼會產生大資料？為什麼要使用大資料呢？在這裡我給大家再通俗的解釋一下：

起初，資料量很少的時代，通過表格工具、mysql等關係型資料庫（二維表資料庫，資料逐行插入）就能夠解決資料儲存的問題。

但是，隨著網際網路的飛速發展，產品以及使用者的激增，產生了海量的資料。考慮到長足發展，公司會對產品、使用者相關的原生資料、埋點資料等進行分析，傳統的關係型資料庫就無法滿足需要，只能通過行式、分散式等資料庫來儲存這些資料（HBASE、hive等，能夠實現叢集化，及分配到多臺主機上同時計算）。

認識資料視覺化

有了資料之後，對資料分析就是成了最關鍵的環節，我公司的分析師就曾對我說過一句話： 資料分析主要對整體分析，而不執著於特殊的個體資料，這樣才能夠給產品提供巨集觀、有效的參考價值 。

海量的資料讓使用者通過逐條檢視是不可行的，影象化才是有效的解決途徑。少量的資料可以通過表格工具生成圖表、透視表的方式進行分析，但是大資料的分析就需要藉助專門的 視覺化工具 了，常見的視覺化工具包括：Tableau、BDP、Davinci、Quick BI、有數等。

大部分商用資料視覺化工具的計算、圖表展示雖然比較強大，但是卻無法做到實時資料快速生成，資料也多為push（固定的範圍）的方式，有時候資料還需要二次加工滿足視覺化產品的規則（商用產品多考慮通用性，無法適用於所有企業的資料規範）。

除此之外，現在很多圖表外掛的開源化（如：Echart、GoogleChart），以及行業內對資料安全性等的考慮，越來越多的公司也開始進行資料視覺化的私有化部署。

資料視覺化的實現

資料視覺化產品（系統）的結構框架主要分為三層： 資料儲存層 、 資料計算層 、 資料展示層 。

1. 資料儲存層

資料儲存層在開頭已經和大家說過了，在資料視覺化產品（系統）中，既支援常規資料（MySQL、CSV等）視覺化，也支援大資料（hive、HBASE等）的視覺化，滿足日常分析人員定性、定量的分析。

在考慮到資料安全的因素，資料儲存還會與許可權管理相結合，實現不同角色的人員只能訪問指定的資料（未來有機會再分享）。

2. 資料計算層

這裡的計算不是平時所說的聚合、排序、分組等計算，解釋之前我們先了解一下資料分析的工作流程吧：

• 產品/運營人員提出資料需求，如“APP一週留存 ”；
• 分析師確認需求後需要明確本次分析需要的欄位及分析方式；
• 數倉人員提供整理後的表格（資料模型，多張表join後合成的中間表）；
• 分析師基於資料模型進行視覺化分析。

數倉提供的資料模型主要分為增量、全量資料，不能直接對某個較長範圍的資料進行分析，舉個例子1月1日、1月2日兩天都產生了資料，增量、全量的資料儲存方式效果如下：

以上述舉例的“APP一週留存”，就需要每天計算一下隔日留存，才能夠基於每天的隔日留存計算出一週的留存。分析師每天會有很多工，大量的基礎計算（如每天的隔日留存）就可讓電腦自動完成，這裡就需要依賴排程功能（你可以理解成一個自動執行公式的工具）。

通過以上內容，我們可以得到多表關聯、定時計算就是計算層的主要功能。

3. 資料展示層

資料展示層分為兩部分：

一部分是對 看圖人的視覺化 ，看圖人包括：產品、運營、高層主管等。根據需求方的要求，將資料用適合的圖表呈現，比如，趨勢相關用折線圖、資料明細用表格、留存用漏斗圖……

另一部分是對 作圖人的視覺化 ，作圖人主要是分析師。讓分析師用視覺化的操作，來代替儘可能多的SQL語句輸入。常見的視覺化工具中，可以快捷得將資料模型中的欄位拖拽到維度/度量（可理解為X、Y軸）中。

tableau圖表編輯面板

通過視覺化產品（系統）結構學習，我們不難看出，實現資料視覺化的操作過程包括：資料連線（儲存）、製作資料模型（計算）、製作圖表（展示）。這也是當下常見資料視覺化產品操作流程：

更好的資料視覺化

我們資料視覺化產品專案組在需求立項時有一句口號： 資料準確、流暢高於一切 ！

這也是每次分析師完成視覺化表格後，都會與需求人員進行資料校對的原因。以免引發未來分析的誤判，給部門甚至公司帶來不必要的損失。

相信大家都有這樣的情形吧，你正在編輯某個檔案時，系統或軟體突然卡住，當時的內心是不是很抓狂呢？圖表載入、篩選後的響應時間也是我們一直關注的問題，這也是視覺化產品使用者粘度的重要指標之一。

隨著市場上視覺化產品不斷增多，差異化的功能就可能會在殘酷的競爭中幫助產品突出重圍：如Tableau的強大的圖表樣式編輯功能；Quick BI的分析報告功能（引用圖表生成報告）；有數的大屏展示功能。

還有一些資料 實時展示 的功能也日益成為某些情境下的剛需，例如每年天貓雙十一都會有一個實時看板展示訂單達到了多少億。

結語

資料視覺化產品又會朝著哪個方的發展呢？我們還在摸黑走過困難重重的道路，也在多次的試錯中找到了一些方向。

產品之路道阻且長，至少，我們不是在單打獨鬥……

#專欄作家#

兮兮，微信公眾號：孤身旅人（ID：gushenlvren），人人都是產品經理專欄作家。關注人工智慧、toB產品、大文娛等領域。

本文原創釋出於人人都是產品經理。未經許可，禁止轉載。

題圖來自 Unsplash，基於 CC0 協議