大資料或將消亡？痛點在哪裡？
全世界都知道大資料是怎麼回事：埃森哲公司的“大資料的成功”研究發現，79%的企業高管表示，不採用大資料的公司將失去市場實力，可能面臨倒閉。大資料被廣泛視為所有連線到網際網路的組織的生命線。此外，89%的受訪者認為，大資料將以網際網路的方式徹底改變商業運營。早期採用者在大資料方面看到了競爭優勢，並正在迅速改變顛覆他們自己的資料實踐。
但問題的關鍵在於許多組織只是在努力實施大資料。Unravel公司最近對組織對其大資料堆疊的意見和期望進行了一項研究，結果顯示只有17%的受訪者將其大資料堆疊的效能評為“最佳”，幾乎滿足所有關鍵績效指標和目標。這主要是由於缺乏合適的技能、成本以及獲得有價值和可操作的見解所需的時間等障礙。
那麼，如果關鍵在人們的掌握之外，那麼如何才能通過資料必殺技?答案是優化。但首先，人們必須評估酋長給他們當前資料堆疊帶來的疑慮，以便充分理解為什麼人們作為DataOps社群需要如此拼命地進行優化。
由於技能仍然稀缺，大資料引擎是否會停滯不前?
我們的研究揭示了IT運營人員的廣泛痛點。然而，由於36%的受訪者將其列為主要的痛點，因此缺乏技能不斷成為追求資料堆疊協同效應的持續障礙。在這種技能差距中，最迫切的需求是大資料架構師，幾乎一半的組織(45%)存在問題。
隨著大資料不斷爆炸，日常生活越來越多，人們需要大資料架構師大規模處理資料庫，並使資料科學家和分析師能夠梳理這些資料，以便提取可行的見解為需要見解做出業務決策的利益相關者提供更好的生活。它們對於實現企業領導者對組織的期望至關重要，特別是當他們著眼於改進的資料分析、轉換和視覺化時。建築師將是企業實現這些目標的不可或缺的組成部分。
其中一個主要問題可能是讓企業重新回到資料棧協調和商業幸福的風險中，因為很多組織還沒有在雲中託管他們的大資料應用程式。許多人的意圖是：82%的受訪者表示他們具有將現有大資料應用程式遷移到雲端的戰略。這裡的推論是，他們中的許多人還沒有將他們的應用程式放在雲中，因此面臨著隨意擴充套件和縮小的挑戰，這需要所有基礎設施的準備和維護。
託管在雲中的好處是眾所周知的：更多的企業正在意識到雲端計算提供的可能性。雲端計算的可擴充套件性為業務基礎設施提供了包含多個伺服器，並提供前所未有的容量水平的可能性。在雲中託管還可以降低成本，並提高大資料應用程式的效能。遷移到雲端可能會從企業尚未意識到的大資料堆疊中釋放出大量潛力。
使用APM儘早結束組織的生活
目前，大資料在防禦性使用時似乎最有利可圖或最有效。報告的主要四個用例是：
- 網路安全情報(42%)
- 風險。監管。合規報告(41%)
- 預防性維護的預測分析(35%)
- 欺詐檢測和預防(35%)
超越經過試驗和測試的專案可以對業務應用程式效能管理(APM)解決方案產生更大的影響，這是對大型資料堆疊的複雜軟體和硬體衝突進行的微調、處理和增壓。
APM雖然相對較新的大資料堆疊，但是DevOps團隊熟知的一類技術，曾經負責管理企業內不同專案組的工具和技術。
APM是一種能夠支援雙方分歧並幫助企業找到共同點的技術。是否錯過了服務等級協議(SLA)、失敗的作業或工作流程，緩慢的作業或查詢，或計算資源不明智地分配並導致延遲或終端使用者的挫折。通過監控大資料平臺並嘗試無法實現預防或解決這些問題使用日誌和圖表修復問題。在典型的大資料部署中，該方法無法擴充套件。從隱喻的角度來說，傳統的監控和除錯方法就像試圖解開交織在一起的電線。它只是無法擴充套件。對於DevOps來說，在太多不同的系統中存在太多潛在問題，可以通過反覆試驗來解決問題並保持準時。
該技術有望為企業帶來新的資料使用方式，但DevOps團隊可能會在可預見的未來管理混合平臺，因為這不是一夜之間的過渡。利用APM的強大功能和優化業務流程將揭示大資料堆疊的真正可能性，更多業務領導者將開始看到此技術滿足其KPI，有助於降低整個業務的成本和時間管理。
在“大資料或將消亡”的世界裡，是時候認真解決複雜、快速、不斷髮展的大資料棧所帶來的挑戰了。現在的主要挑戰是確保大資料棧可靠、高效地執行，並且大資料團隊擁有交付下一代應用程式、分析、人工智慧和機器學習的工具和專業知識。