2. 程式人生 > >flume-ng 測試過程中event丟失部分body資料

flume-ng 測試過程中event丟失部分body資料

阿新 • • 發佈：2019-02-10
經過測試發現，當source端單event的body資料大於16位元組後，輸出到目標只剩下16位元組。進過多原始碼的分析，發現，原始碼中進行了擷取。 在LoggerSink.java中： if (event != null) { if (logger.isInfoEnabled()) { logger.info("Event: " + EventHelper.dumpEvent(event)); } } 我們去看EventHelper.java的dumpEvent方法： private static final int DEFAULT_MAX_BYTES = 16;
public static String dumpEvent(Event event) { return dumpEvent(event, DEFAULT_MAX_BYTES); } public static String dumpEvent(Event event, int maxBytes) { StringBuilder buffer = new StringBuilder(); if (event == null || event.getBody() == null) { buffer.append("null"); } else if (event.getBody().length == 0) {
// do nothing... in this case, HexDump.dump() will throw an exception } else { byte[] body = event.getBody(); byte[] data = Arrays.copyOf(body, Math.min(body.length, maxBytes)); ByteArrayOutputStream out = new ByteArrayOutputStream(); try { HexDump.dump(data, 0, out, 0); String hexDump = new String(out.toByteArray());
// remove offset since it's not relevant for such a small dataset if(hexDump.startsWith(HEXDUMP_OFFSET)) { hexDump = hexDump.substring(HEXDUMP_OFFSET.length()); } buffer.append(hexDump); } catch (Exception e) { if(LOGGER.isInfoEnabled()) { LOGGER.info("Exception while dumping event", e); } buffer.append("...Exception while dumping: ").append(e.getMessage()); } String result = buffer.toString(); if(result.endsWith(EOL) && buffer.length() > EOL.length()) { buffer.delete(buffer.length() - EOL.length(), buffer.length()).toString(); } } return "{ headers:" + event.getHeaders() + " body:" + buffer + " }"; } 不難看出，在event處理過程中，發生了資料擷取操作。

相關推薦

flume-ng 測試過程中event丟失部分body資料

經過測試發現，當source端單event的body資料大於16位元組後，輸出到目標只剩下16位元組。進過多原始碼的分析，發現，原始碼中進行了擷取。 在LoggerSink.java中： if (event != null) { if (logger.isInfo

【Java】【Flume】Flume-NG啟動過程源代碼分析（一）

code extends fix tar top 依據 oid article gif 從bin/flume 這個shell腳本能夠看到Flume的起始於org.apache.flume.node.Application類，這是flume的main函數所在。 　　m

測試過程中常用的linux命令之【查看文件指定行的內容】

sed head tail 在開展測試工作的過程中，通常要接觸到服務器，對於linux服務器，總結一些常用的命令。 準備工作為了能直觀展示命令結果，使用腳本創建一個文件，在顯示文件內容的同時，也直觀的顯示行號。#!/bin/bash FileName=TestFile.log touch ./$

測試過程中常用的linux命令之【查找指定的文件內容】

vi grep 之前遇到過這種情況，在查看日誌定位問題時，會將log 傳輸到本地，然後用本地的文本編輯工具打開文件，然後查找關鍵字，再進行分析。 這樣做無疑會降低效率。整理了幾個常用的命令，可以進行快速的查找。測試文件:文件名稱為execution.log， 文件內容如下：[error] Timed o

軟件測試過程中有哪些風險？

dia bsp HR 人力 選擇 用例 com 重寫 size 那麽到底都有哪些風險要註意呢?如何解決呢?另外這些風險如何在計劃中寫明呢，不會寫“張三可能要離職”，“開發提交代碼可能會延期”吧? 設計方面： 風險：(1)沒有詳細設計說明書; 解決方案：測試人員要在開發階

壓力測試過程中MySQL服務CPU占用率過高的問題排查思路

建立索引 效果 mysql服務器 還要 數據庫服務 如果 頻率 water vpd 〇、經驗總結： 在關註業務接口的TPS時，也要關註數據庫服務器的QPS。如果一個業務流程裏包含多條查詢，那麽業務接口TPS的上升對數據庫服務器QPS的放大效應會很明顯。 如果查詢結果集不大

效能測試過程中oracle資料庫報ORA-27301 ORA-27302錯

最近在效能測試過程中發現，發現虛擬使用者數上不去，載入到一定的數量應用端就報錯，提示連線資料庫出錯。在測試的過程中檢視web容器的執行緒池 資料來源的連線池 都還有空閒，同時檢視oracle的v$session檢視 發現session數到了一定數量就上不去了。檢視資料庫引數 process 設定的是1000

hyperledger-composer書寫鏈程式碼單元測試過程中的問題總結

1、如果遇到 TypeError: Cannot read property 'should' of undefined TypeError: Cannot read property 'canRepeat' of undefined 類似的錯誤，那麼應該就是ES6 語法中缺少了aw

JMeter 在測試過程中的響應斷言以及斷言結果

JMeter 在測試過程中的響應斷言以及斷言結果，記錄下來主要是為了方便自己以後不斷的系統性的鞏固 響應斷言 ：對伺服器的響應進行斷言校驗 （1）應用範圍: main sample and sub sample, main sample only , sub-sample o

yolo的訓練和測試過程中踩過的坑

1.執行main.py,報錯：SyntaxError: Missing parentheses in call to 'print' 錯誤原因：因為安裝的是python3的版本 但是這個程式是2.

Python自動化測試過程中出錯解決方案：retrying

最近發現的新的解決方案：retrying retrying是一個 Python的重試包，可以用來自動重試一些可能執行失敗的程式段。retrying提供一個裝飾器函式retry，被裝飾的函式就會在執行失敗的條件下重新執行，預設只要一直報錯就會不斷重試。 import random from retr

es5 特性，在 map 迴圈過程中 this 丟失，失去上下文。

doClick = (item) => { return item; } 沒有繫結this。報錯：doClick not defined arr.map(function(item) {

WebUI自動化測試過程中遇到的問題總結

寫自動化程式碼過程中遇到的問題： 1、系統使用了Google統計，頁面反應會非常慢，導致頁面開啟之前測試先失敗了，我本想將開啟頁面的時間延長，主席告訴我一個更方便簡單的方法，修改hosts檔案，將這個Google統計轉到本地，這樣就不會有以上的問題了。 hosts檔案修改

python獲取tcp連線數，新增連線數，繪圖（用於效能測試過程中監控）

本指令碼可以用於有效能測試監控需求的人使用，用於tcp連線數的監控# -*- coding: UTF-8 -*- # author=baird_xiang import os import sys import time import re import copy new_

談談測試過程中常見的幾個問題

相信大家在測試工作過程中一定遇到許許多多的問題，而且每個人的問題都不太一樣。今天總結小編在測試過程中經常遇到的幾個方面與大家分享一下。 1.測試執行方面 測試過程中，我們常常會擔心測試不夠全面，覆蓋不全。因為我們知道測試不足（沒有覆蓋到足夠的度）極有可能帶來嚴重的後果，但過多的測試就能夠在解決這個問

21條自動化測試過程中遭遇的問題及解決思路

記錄自動化中遇到的一些錯誤及解決思路，會持續更新（根據個人情況不同，錯誤解決方法不同）1、找不到元素，指令碼報“NoSuchElementException:Unable to find element”，或者"定位到了，不能操作，點選無效"　　1) 首先檢視自己的“屬性值”

自己測試過程中總結的易忽略的測試點和經驗－－持續更新中

1.app多語言測試中，彈窗一般會出現居中問題。德語和法語容易在按鈕和固定大小的控制元件上超出長度 2.web測試中，對各個輸入框的報錯提示可能會有重疊情況。 3.自動化測試中，頁面如果重新整理了，控制元件就得重新定位。所以定位的程式碼放在哪很重要

如何找到自動化測試的思路和理解自動化測試過程中的問題

    要找到自動化測試的思路，首先得明確自動化測試的本質。對自動化測試的本質的理解不同，導致了在進行自動化測試過程中對於組建團隊、制定目標計劃等的不同，決定了最終自動化測試的實施和效果的不同。所以必須先把自動化測試的本質說明白。     談本質的問題，每個人的理解是不盡相

在測試過程中如何高質量回歸bug

在作者多年的測試過程中，總結出了一套流程高質量的迴歸Bug的流程，這裡跟大家分享下：I、bug的描述執行(必測)複製bug的描述（如沒有，就複製概述），備註執行情況  （不明白的地方需要找bug提交人確

JMeter 測試過程中的響應斷言以及斷言結果

剛開始使用JMeter的時候，把測試的步驟，過程通過badboy或是JMeter中自帶的代理進行錄製完成之後，使用JMeter把錄製完成的jmx檔案開啟，點選執行按鈕，好像總是執行成功的樣子。 通過新