大資料技術人常被問的問題
前幾天轉正答辯，我ppt講完後，各部門大佬們來提問，有兩個問題答得不是很好，後來有空了想想，其實要答也不難。
1，技術選型上為什麼用A技術不用其他技術？
個人觀點：技術選型上用某技術主要考慮
1），該技術的學習成本比較低；
2），該技術能不能高效滿足需求並且穩定執行；
3），使用該技術需要花費的成本是否比其他低；
上面3點其實是技術選型最關心的問題
2，實時計算和離線計算對數怎麼對的，如果有問題考慮哪些方面的問題？
個人觀點：
1），實時部分系統是否存在問題,例如消費端能力是否能滿足生產的訊息，重啟後實時偏移量是否記錄正確，有無重複消費
2），離線部分計算是否存在問題，例如離線日誌收集是否齊全，檢測程式碼是否加的齊全，異常處理如何處理
3），細分維度和時間來對比哪個維度或者時間段會存在差異。
相關推薦
大資料技術人常被問的問題
前幾天轉正答辯，我ppt講完後，各部門大佬們來提問，有兩個問題答得不是很好，後來有空了想想，其實要答也不難。 1，技術選型上為什麼用A技術不用其他技術？ 個人觀點：技術選型上用某技術主要考慮 1），該技術的學習成本比較低； 2），該技術能不能高效滿足需求並
區塊鏈技術面試常被問到的Hyberledger Fabric關鍵概念
###總覽Overview 介紹 Hyberledger Fabric 做為一個全面、可定製、企業級區塊鏈解決方案關鍵設計需求： Assets (資產) - 資產定義了可以交換的幾乎所有東西，其能通過網路用錢計價，從食物、到古董車、到未來的貨幣。 Chain
技術面試中常被問到是否參與開源，那如何清晰展示 GitHub 專案呢？
你面試的公司找你要 GitHub 連結，獵頭找你要 GitHub 連結。“你參與過開源專案麼？”是目前 IT 技術面試中的常見問題之一。 既然他們要 GitHub，你就得給。本文將闡述如何在面試中展示你在 GitHub 上的專案。 以下的建議有兩個用途：應聘者可以學
【資料結構與演算法】紅黑樹常被問到的問題
1.stl中的set底層用的什麼資料結構？ 2.紅黑樹的資料結構怎麼定義的？ 3.紅黑樹有哪些性質？ 4.紅黑樹的各種操作的時間複雜度是多少？ 5.紅黑樹相比於BST和AVL樹有什麼優點？ 6.紅黑樹相對於雜湊表，在選擇使用的時候有什麼依據？ 7.如何擴充套件
聊聊自學大資料flume中容易被人忽略的細節
前言：老劉不敢保證說的有多好，但絕對是非常良心地講述自學大資料開發路上的一些經歷和感悟，保證會講述一些不同於別人技術部落格的細節。 01 自學flume的細節 老劉現在想寫點有自己特色的東西，講講自學大資料遇到的一些事情，保證講一些別人技術部落格裡忽略的知識點。 很多自學程式設計的人都會有一
學習大資料技術，Hive實踐分享之儲存和壓縮的坑
在學習大資料技術的過程中，HIVE是非常重要的技術之一，但我們在專案上經常會遇到一些儲存和壓縮的坑，本文通過科多大資料的武老師整理，分享給大家。 大家都知道，由於叢集資源有限，我們一般都會針對資料檔案的「儲存結構」和「壓縮形式」進行配置優化。在我實際檢視以後，發現叢集的檔案儲存格式為Parque
一文讀懂大資料技術驅動的銀行客戶畫像
2018年上半年我國GDP增速6.8%，在貿易戰和去槓桿的影響下，雖然金融市場震盪明顯，但銀行受到網際網路、移動計算到雲端計算、大資料、物聯網、人工智慧等技術變革的影響，仍舊保持了較好盈利。在採取了業務轉型與創新、同業業務從線下向線上轉移、資產結構的進一步優化等諸多調整措施的過程中，“手機銀行、P2
]大資料技術在綜合管廊環境監測中的應用
地下綜合管廊整體建於地下，內部相對封閉，一旦發生災害，會對廊內裝置和搶修人員安全造成極大威脅。綜合管廊分佈了數目眾多、各式各樣的感測器來監測管廊內部情況。由此產生了海量的由感測器產生而又不適於關係模式的非結構化資料。 如何有效地管理這些非結構化資料，迫切需要利用大資料技術，高效
大資料學習路線圖 讓你精準掌握大資料技術學習
大資料指不用隨機分析法這樣捷徑，而採用所有資料進行分析處理的方法。網際網路時代每個企業每天都要產生龐大的資料，對資料進行儲存，對有效的資料進行挖掘分析並應用需要依賴於大資料開發，大資料開發課程採用真實商業資料來源並融合雲端計算+機器學習，讓學員有實力入職一線網際網路企業。大資料學習群1429
大資料要學習哪些技術呢？大資料技術的分類與選擇路線
大資料的處理過程可以分為大資料採集、儲存、結構化處理、隱私保護、挖掘、結果展示(釋出)等，各種領域的大資料應用一般都會涉及到這些基本過程，但不同應用可能會有所側重。對於網際網路大資料而言，由於其具有獨特完整的大資料特點，除了共性技術外，採集技術、結構化處理技術、隱私保護也非常突出。 有很
大資料重新定義未來，2018 中國大資料技術大會（BDTC）豪華盛宴搶先看！
隨著資訊科技的迅猛發展，資料的重要性和價值已毋庸置疑，資料正在改變競爭格局，成為重要的生產因素，更被定義為“21世紀的新石油”。在資訊高速傳播的今天，資料已經滲透到每一個行業和業務職能領域，指數級的速度增長將我們帶入大資料時代。作為年度技術趨勢與行業應用的風向標，2018 中國大資料技術大會（BDT
大資料學習路線 讓你精準掌握大資料技術學習
大資料指不用隨機分析法這樣捷徑，而採用所有資料進行分析處理的方法。網際網路時代每個企業每天都要產生龐大的資料，對資料進行儲存，對有效的資料進行挖掘分析並應用需要依賴於大資料開發，大資料開發課程採用真實商業資料來源並融合雲端計算+機器學習，讓學員有實力入職一線網際網路企業。 今天小編的技術分享詳細學習大資料的
小白自學大資料技術，學習路線很重要
身邊有很多朋友想學習大資料技術，但是苦於一沒基礎，二沒時間，三不知道如何入手，看著大資料行業發展如火如荼，大資料技術崗位各種薪資高、發展好。那何不利用自己的業餘時間，趕緊學起來。為方便大家學習，參考科多大資料的培養體系，整理了一些大家自學的技術和順序，趕緊學起來 大資料處理技術怎麼學習呢?首先我
大資料技術體系1（清華：大資料技術體系）
【1】採集與整合 【2】儲存與管理 【3】分析與挖掘 【4】視覺化 【5】計算範型 【6】隱私與安全 01資料質量-無法迴避的挑戰 傳統資料質量僅通過EFL方式執行，即抽取、轉換、載入，包括解析、模式分析等。 沒有完全覆蓋資料質量的基本性質 挑戰
一篇文章詳解大資料技術和應用場景
什麼是大資料 說起大資料，估計大家都覺得只聽過概念，但是具體是什麼東西，怎麼定義，沒有一個標準的東西，因為在我們的印象中好像很多公司都叫大資料公司，業務形態則有幾百種，感覺不是很好理解，所以我建議還是從字面上來理解大資料，在維克托邁爾-舍恩伯格及肯尼斯庫克耶編寫的《大資料時代》提到了大資料的4個特徵：
大資料技術 分散式儲存 HDFS原理
大資料基礎知識 一、什麼是大資料 短時間內快速產生的海量的多種多樣的有價值的資料。 大資料的技術： 1、分散式儲存： 2、分散式計算： 1)分散式批處理： 當資料積累一定的時間後（假設一個月），進行統一的處理。 2)分散式流處理 分散式流處理是一個實時
大資料技術怎麼開始學習，在學習大資料之前，需要具備什麼基礎？
未來5年大資料行業呈井噴趨勢，人才需求火爆，2018年大資料人才缺口更是高達900萬。以後想要做大資料相關的工作，需要學習哪些技術知識? 羅馬不是一天建成的，大資料工程師也不是短時間能鍛造的。想要成為大資料開發工程師，也要看你是否骨骼驚奇，天賦過人!在學習大資料之前，你還需要有一定的基礎!
大資料技術學習路線，有信心能堅持學習的朋友，從現在開始吧
如果你看完有信心能堅持學習的話，那就當下開始行動吧！ 一、大資料技術基礎 1、linux操作基礎 linux系統簡介與安裝 linux常用命令–檔案操作 linux常用命令–使用者管理與許可權 linux常用命令–系統管理 linux常用命令–免密登陸
盛會再臨，2018 中國大資料技術大會（BDTC）首曝日程及議題
滿目皆乾貨，俯仰盡拾珠。作為年度技術趨勢與行業應用的風向標，連續成功舉辦十一年的中國大資料技術大會（BDTC）攜主題“大資料新應用”再度強勢來襲，穩踏技術時代浪潮，勢將引爆今冬技術圈。 資料，讓一切有跡可循，讓一切有源可溯。2018 年12 月 6-8 日，由中國計算
八折進行中 | 2018 中國大資料技術大會（BDTC）首輪講師陣容震撼來襲！
暌違一載，今又相約。作為年度技術趨勢與行業應用的風向標，2018 中國大資料技術大會（BDTC 2018）攜主題“大資料新應用”再度強勢來襲，穩踏技術時代浪潮，勢將引爆今冬技術圈。 2018 年12 月 6-8 日，由中國計算機學會主辦，CCF大資料專家委員會承辦，CS