京東 “賣家日誌” 系統的構建:流式計算日誌系統應用實踐
來這裡找志同道合的小夥伴! 引言 本文講述如何去構建一個日誌系統,用到了哪些技術?為什麼用這些技術?遇到的問題及優化的過程,希望給大家在實踐中提供一些參考。 這是一個有關於日誌的專案,負責收
來這裡找志同道合的小夥伴! 引言 本文講述如何去構建一個日誌系統,用到了哪些技術?為什麼用這些技術?遇到的問題及優化的過程,希望給大家在實踐中提供一些參考。 這是一個有關於日誌的專案,負責收
Apache Kafka 2.1.1 釋出了,這是一個 bugfix 版本。 更新內容如下: Improvement [KAFKA-6928 ] - S
Apache Flink 1.7.2 釋出了,Flink 是一個流處理框架,應用於分散式、高效能、始終可用的與準確的資料流應用程式。 這是 1.7 的第二個 bugfix 版本,包含 40 多個
我們在做專案時經常會使用changeset作為部署工具,但是某些場景使用changeset會比較難操作,比如當我們在sandbox將apex class更改名字想要部署到生產的org或者其他環境的org,使用c
2018剛過去,趁著春節放假對過去一年主導開發的專案做個梳理和總結 專案背景 平臺運營到一定階段,一定會累積大批量的使用者資料,這些使用者資料是運營人員的黃金財產。而如何利用使用者的資料來做運營(訊息推
序 本文主要研究一下flink的AbstractNonHaServices HighAvailabilityServices flink-runtime_2.11-1.7.1-sources.jar
“Ivy 到底什麼時候能好?” 幾乎每個星期都有人來問我們這個問題。 所以,我專門解釋一下,以下是關於 Angular 8.0 和 Ivy 的演進計劃。
“資料智慧” (Data Intelligence) 有一個必須且基礎的環節,就是資料倉庫的建設,同時,資料倉庫也是公司資料發展到一定規模後必然會提供的一種基礎服務。從智慧商業的角度來講,資料的結果代表
Avro 是一種遠端過程呼叫和資料序列化框架,是在Apache的Hadoop專案之內開發的。它使用JSON來定義資料型別和通訊協議,使用壓縮二進位制格式來序列化資料。它主要用於Hadoop,它可以為持
序 本文主要研究一下flink的ParameterTool 例項 fromPropertiesFile String propertiesFilePath = "/home/sam/fl
聊聊flink的Parallel Execution 序 本文主要研究一下flink的Parallel Execution 例項 Operator Level final StreamExe
對於一個複雜的分散式系統,如果沒有豐富的經驗和牛逼的架構能力,很難把系統做得簡單易維護,我們都知道,一個軟體的生命週期中,後期維護佔了70%,所以系統的可維護性是極其重要的, kafka 能成為大資料領域的事實
在作完預備的初始化和session測試後,到了作為一個權鑑別框架的核心功能部分,確認你是誰--身份認證(Authentication)。 通過提交給shiro身份資訊來驗證是否與儲存的安全資訊資料是否相符來
1 下載 JCraft JCraft 實現了 SSH2。 SSH 即 Secure SHell,它有兩個版本: SSH1 又分為 1.3 和 1.5 兩個版本 。SSH
我們開發的一個基於大資料平臺的資料倉庫,選擇了Flink作為資料處理的底層框架。我們主要看重於它在流處理的低延遲性,訊息傳遞保證的extractly once特性;它為流處理和批處理提供了相對統一的API