概要

開始

pom檔案

  ide使用idea神器，工程組織使用maven，下面是工程的pom檔案：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
 

    <modelVersion>4.0.0</modelVersion>

    <groupId>com.*.*</groupId>
    <artifactId>your  name </artifactId>
    <version>1.1.0</version>
    <name>your procet name</name>

	<!--<一些版本管理>-->
    <properties>
        <project.build.sourceEncoding
 
>UTF-8</project.build.sourceEncoding>
        <flume.version>1.7.0</flume.version>
        <netty-all.version>4.0.23.Final</netty-all.version>
    </properties>

	<!--<定義一些profile 後面一鍵打包使用>-->
    <profiles>
        <profile>
            <id
 
>msg_store_test</id> <!--<name>-->
            <properties>
                <conf.path>conf/msg/test_jd</conf.path> <!--<定義一些路徑>-->
                <bin.path>bin/msg</bin.path>
                <package.name>StoreMsgAgent</package.name>
            </properties>
        </profile>
    </profiles>

	<!--<指明依賴的jar包>-->
    <dependencies>
        <dependency>
            <groupId>org.apache.flume</groupId>
            <artifactId>flume-ng-core</artifactId> <!--<核心依賴包，必須有>-->
            <version>${flume.version}</version>
            <!--<scope>provided</scope>-->
        </dependency>
        <dependency>
            <groupId>org.apache.flume</groupId>
            <artifactId>flume-ng-configuration</artifactId> <!--<配置功能依賴包，必須有>-->
            <version>${flume.version}</version>
            <!--<scope>provided</scope>-->
        </dependency>
        <dependency>
            <groupId>org.apache.flume</groupId>
            <artifactId>flume-ng-node</artifactId> <!--<最終可執行包的入口，必須有>-->
            <version>${flume.version}</version>
        </dependency>
        <dependency>
            <groupId>io.netty</groupId>
            <artifactId>netty-all</artifactId> <!--<為了解決運行當中nett-all版本過低的問題>-->
            <version>${netty-all.version}</version>
        </dependency>
        <dependency>
            <groupId>commons-logging</groupId>
            <artifactId>commons-logging</artifactId> <!--<為了解決運行當中版本過低的問題>-->
            <version>1.1.1</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId> <!--<我們這裡就是藉助assembly來實現自定義一鍵打可執行jar包功能，並直接打成壓縮包>-->
                <version>2.4</version>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                        <configuration>
                            <!--<參見上面的profile和project屬性>-->
                            <finalName>${package.name}_v${project.version}</finalName>
                            <descriptors> <!--<自定義功能都在指定路徑下的xml中>-->
                                <descriptor>*/*/*/bin.xml</descriptor>
                            </descriptors>
                            <tarLongFileMode>gnu</tarLongFileMode>
                            <!--<descriptorRefs>-->
                            <!--<descriptorRef>jar-with-dependencies</descriptorRef>-->
                            <!--</descriptorRefs>-->
                        </configuration>
                    </execution>
                </executions>
            </plugin>
            <!--編譯外掛-->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>2.3.2</version>
                <configuration> <!--<指定sdk版本>-->
                    <source>1.7</source>
                    <target>1.7</target>
                    <encoding>utf-8</encoding>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>

assembly檔案

<assembly
        xmlns="http://maven.apache.org/plugins/maven-assembly-plugin/assembly/1.1.2"
        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
        xsi:schemaLocation="http://maven.apache.org/plugins/maven-assembly-plugin/assembly/1.1.2 http://maven.apache.org/xsd/assembly-1.1.2.xsd">

    <id>bin</id> <!--<sssembly標識，原則和其檔名稱一樣>-->
    
    <formats><!--<一鍵打壓縮包相關配置>-->
        <format>dir</format>
        <format>tar.gz</format>
    </formats>
	<!--<這個指定壓縮包的名稱，同上pom中定義的屬性>-->
    <baseDirectory>${package.name}_v${project.version}-bin</baseDirectory>

    <dependencySets><!--<把依賴拷貝到指定路徑下>-->
        <dependencySet>
            <!--<outputDirectory>plugins.d/${project.name}/lib</outputDirectory>-->
            <outputDirectory>lib</outputDirectory>
            <unpack>false</unpack>
            <useProjectArtifact>false</useProjectArtifact>
            <!--<excludes>-->
                <!--<exclude>commons-cli:commons-cli</exclude>-->
                <!--<exclude>org.apache.commons:commons-compress</exclude>-->
                <!--<exclude>org.apache.avro:avro</exclude>-->
                <!--<exclude>org.mortbay.jetty:jetty</exclude>-->
                <!--<exclude>org.mortbay.jetty:jetty-util</exclude>-->
                <!--<exclude>com.thoughtworks.paranamer:paranamer</exclude>-->
                <!--<exclude>com.google.protobuf:protobuf-java</exclude>-->
                <!--<exclude>org.tukaani:xz</exclude>-->
            <!--</excludes>-->
        </dependencySet>
    </dependencySets>

	<!--<這裡指定自定義的服務相關的必備的配置檔案或者其它需要的指令碼路徑>-->
    <fileSets>
        <fileSet>
            <directory>${bin.path}</directory> <!--<上面pom中定義的profile,原檔案目錄>-->
            <includes>
                <include>**</include>
            </includes>
            <fileMode>0755</fileMode>
            <outputDirectory>bin</outputDirectory> <!--<輸出檔案目錄>-->
        </fileSet>
        <fileSet>
            <includes>
                <include>lib/**</include>
            </includes>
        </fileSet>
        <fileSet>
            <directory>${conf.path}</directory> <!--<上面pom中定義的profile,原檔案目錄>-->
            <includes>
                <include>**</include>
            </includes>
            <outputDirectory>conf</outputDirectory> <!--<輸出檔案目錄>-->
        </fileSet>
        <!-- 把專案自己編譯出來的jar檔案，放入指定目錄-->
        <fileSet>
            <directory>${project.build.directory}</directory>
            <outputDirectory>plugins.d/${project.name}/lib</outputDirectory>
            <includes>
                <include>*.jar</include>
            </includes>
        </fileSet>
    </fileSets>

</assembly>

原始碼實現

SinkConfigurationConstants

package com.*.*;
import org.apache.hadoop.hbase.HConstants;
/**
 * Constants used for configuration of HBaseSink and AsyncHBaseSink
 *
 */
public class JpushHBaseSinkConfigurationConstants {
    /**
     * The Hbase tableSpace which the sink should write to.
/
    public static final String CONFIG_TABLE_SPACE = "tableSpace";
    /**
     * The Hbase table which the sink should write to.
     */
    public static final String CONFIG_TABLE = "table";
    /**
     * The column family which the sink should use.
     */
    public static final String CONFIG_COLUMN_FAMILY = "columnFamily";
    /**
     * Maximum number of events the sink should take from the channel per
     * transaction, if available.
     */
    public static final String CONFIG_BATCHSIZE = "batchSize";
    public static final String CONFIG_FLUSHSECONDS = "flushSecond";
    /**
     * The fully qualified class name of the serializer the sink should use.
     */
    public static final String CONFIG_SERIALIZER = "serializer";
    /**
     * Configuration to pass to the serializer.
     */
    public static final String CONFIG_SERIALIZER_PREFIX = CONFIG_SERIALIZER + ".";

    public static final String CONFIG_TIMEOUT = "timeout";

    public static final String CONFIG_ENABLE_WAL = "enableWal";

    public static final boolean DEFAULT_ENABLE_WAL = true;

    public static final long DEFAULT_TIMEOUT = 60000;

    public static final String CONFIG_KEYTAB = "kerberosKeytab";

    public static final String CONFIG_PRINCIPAL = "kerberosPrincipal";

    public static final String ZK_QUORUM = "zookeeperQuorum";

    public static final String ZK_ZNODE_PARENT = "znodeParent";

    public static final String DEFAULT_ZK_ZNODE_PARENT = HConstants.DEFAULT_ZOOKEEPER_ZNODE_PARENT;

    public static final String CONFIG_COALESCE_INCREMENTS = "coalesceIncrements";

    public static final Boolean DEFAULT_COALESCE_INCREMENTS = false;

    public static final int DEFAULT_MAX_CONSECUTIVE_FAILS = 10;

    public static final String CONFIG_MAX_CONSECUTIVE_FAILS = "maxConsecutiveFails";

    /** Comma separated list of column names to place matching groups in. */
    public static final String COL_NAME_CONFIG = "colNames";
    public static final String COLUMN_NAME_DEFAULT = "payload";

    /** What charset to use when serializing into HBase's byte arrays */
    public static final String CHARSET_CONFIG = "charset";
    public static final String CHARSET_DEFAULT = "UTF-8";
}

HbaseSink

package com.jd.jpush.service;

import java.io.IOException;
import java.nio.charset.Charset;
import java.util.Date;
import java.util.LinkedList;
import java.util.List;
import java.text.SimpleDateFormat;

import com.google.common.base.Charsets;
import com.google.common.base.Preconditions;
import com.google.common.collect.Lists;

import com.google.common.hash.Hashing;
import com.jd.jpush.utils.HBaseUtil;
import com.jd.ump.profiler.CallerInfo;
import com.jd.ump.profiler.proxy.Profiler;
import org.apache.flume.*;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;

import org.apache.flume.conf.Configurable;
import org.apache.flume.instrumentation.SinkCounter;
import org.apache.flume.sink.AbstractSink;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.commons.codec.binary.Base64;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import com.google.common.base.Throwables;
import com.alibaba.fastjson.*;

//儲存access生成的訊息體到hbase
public class JpushAsyncHbaseSink extends AbstractSink implements Configurable {

    private static final Logger logger = LoggerFactory.getLogger(JpushAsyncHbaseSink.class);

    private String tableSpace;
    private String tableName;
    private byte[] columnFamily;
    private List<byte[]> colNames = Lists.newArrayList();
    private BufferedMutator bufferedMutator = null;
    //private Connection connection = null;
    private long lastFlushTime = 0;
    private long batchSize;
    private long flushSeconds;
    private Charset charset;
    private String umpMethodMonitoring;
    private String umpCustomMonitoring;
    private String umpBusinessMonitoring;
    private SinkCounter sinkCounter;
    private String tableSpaceName;

    //@Override
    public void configure(Context context) {
        tableSpace = context.getString(JpushHBaseSinkConfigurationConstants.CONFIG_TABLE_SPACE);
        tableName = context.getString(JpushHBaseSinkConfigurationConstants.CONFIG_TABLE);
        String cf = context.getString(JpushHBaseSinkConfigurationConstants.CONFIG_COLUMN_FAMILY);
        batchSize = context.getLong(JpushHBaseSinkConfigurationConstants.CONFIG_BATCHSIZE, (long) 100);
        flushSeconds = context.getLong(JpushHBaseSinkConfigurationConstants.CONFIG_FLUSHSECONDS, (long) 10);
        String colNameStr = context.getString(JpushHBaseSinkConfigurationConstants.COL_NAME_CONFIG);
        umpMethodMonitoring = context.getString(JpushHBaseSinkConfigurationConstants.UMP_METHOD_MONITOR);
        umpCustomMonitoring = context.getString(JpushHBaseSinkConfigurationConstants.UMP_CUSTOM_MONITOR);
        umpBusinessMonitoring = context.getString(JpushHBaseSinkConfigurationConstants.UMP_BUSINESS_MONITOR);
        Preconditions.checkNotNull(umpMethodMonitoring, "umpMethodMonitoring cannot be empty, please specify in configuration file");
        tableSpaceName = "[tableSpace:tableName]: " + tableSpace + ":" + tableName + " ";
        charset = Charset.forName(context.getString(JpushHBaseSinkConfigurationConstants.CHARSET_CONFIG, JpushHBaseSinkConfigurationConstants.CHARSET_DEFAULT));
        String[] columnNames = colNameStr.split(",");
        for (String s : columnNames) {
            colNames.add(s.getBytes(charset));
        }
        columnFamily = cf.getBytes(Charsets.UTF_8);
        if (sinkCounter == null) {
            sinkCounter = new SinkCounter(getName());
        }
    }

    //@Override
    public Status process() throws EventDeliveryException {
        logger.debug("processing...");
        Status status = Status.READY;
        Channel channel = getChannel();
        Transaction transaction = channel 
 

            
  
           

              
              
            
            
相關推薦
			   
            
            
            
 

    

    
    
基於flume1.7開發自定義Sink元件-一鍵打包
     
 
							
							
							概要


開始
pom檔案
  ide使用idea神器，工程組織使用maven，下面是工程的pom檔案：
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.a 

  
 

    

    
    
通過Xcode7程式碼實時預覽功能快速開發自定義控制元件(一)
     
 
								
								            
						
                
     通過程式碼實時預覽功能開發自定義控制元件能夠使開發者能夠直觀的修改控制元件的屬性，達到快速自定義控制元件的效果，我的Xcode版本是7.2正式版，下面開始講述如何通過程式碼實時預覽功能開發自 

  
 

    

    
    
Android開發自定義控制元件實現一個圓形進度條【帶數值和動畫】
     
 
                
實現一個如下圖所示的自定義控制元件，可以直觀地展示某個球隊在某個賽季的積分數和勝場、負場、平局數

首先對畫布進行區域劃分，整個控制元件分上下兩部分
上邊是個大的圓環，圓環中間兩行文字，沒什麼難度，選好圓心座標和半徑後直接繪製即可，繪製文字也是如此。
下部分是三個小的圓弧進 

  
 

    

    
    
Android開發自定義控制元件實現一個折線圖
     
 
                
實現一個如下圖所示的折線圖


首先是控制元件繪圖區域的劃分，控制元件左邊取一小部分（控制元件總寬度的八分之一）繪製表頭，右邊剩餘的部分繪製表格
確定表格的行列數，首先繪製一個三行八列的網格，設定好行列的座標後開始繪製

/*繪製三條橫線*/
for(int i=0;i&l 

  
 

    

    
    
Android開發自定義控制元件實現一個餅狀圖
     
 
                
實現一個如圖所示的控制元件，包括兩部分，左邊的餅狀圖和中間的兩個小方塊，及右邊的兩行文字

實現起來比較簡單，只是一些繪圖API的呼叫
核心程式碼在onDraw函式裡邊，，對靜態控制元件進行繪製即可

@Override
protected void onDraw(Canv 

  
 

    

    
    
如何基於Kubernetes開發自定義的Controller_Kubernetes中文社群
     
 
						繼上次分享Kubernetes原始碼編譯除錯之後，一直想寫些對scheduler，controller-manager，kubelete等元件的深入介紹，今天先介紹下Controller部分，在kubernetes內部提供了大量的controller，比如node controller，pod 

  
 

    

    
    
如何基於kubernetes開發自定義的Controller
     
 
                繼上次分享Kubernetes原始碼編譯除錯之後，一直想寫些對scheduler，controller-manager，kubelete等元件的深入介紹，今天先介紹下Controller部分，在kubernetes內部提供了大量的controller，比如node contr 

  
 

    

    
    
如何開發自定義標簽
     
 lin   lns   abcd   tro   lib   case   invoke   java類   ext   一、簡介
原理：用戶自定義的 jsp 標記。當一個含有自定義標簽的 jsp 頁面被 jsp 引擎編譯成 servlet 時，tag 標簽被轉化成了對一個標簽處理器類的對象的操作。
標簽庫A 

  
 

    

    
    
開發自定義Mysql連接池
     
 連接池使用第三方包    https://pypi.python.org/pypi/DBUtils      tar -zxvf *.tar.gz * python3 setup.py build && python3 setup.py installimport time
import py 

  
 

    

    
    
Vue 開發自定義插件學習記錄 -- 入門
     
 dem   isa   我們   isshowing   人的   暴露   doc   directive   了解   首先，你需要了解插件實現的基本原理
 
插件基本原理：
 
我們都知道用Vue.use註冊插件，那你知道Vue.use(plugin) 幹了什麽？
以下是我對Vue官網的一些摘錄和個人的 

  
 

    

    
    
利用 JSP 2 提供的 SimpleTagSupport 開發自定義標籤
     
  
 
 自定義標籤庫並不是 JSP 2 才出現的，JSP 1.1 版中已經增加了自定義標籤庫規範，自定義標籤庫是一種非常優秀的表現層元件技術。通過使用自定義標籤庫，可以在簡單的標籤中封裝複雜的功能。
 為什麼要使用自定義標籤呢？主要是為了取代醜陋的 JSP 指令碼。在 HTML 頁面中插入 JSP 指令碼有 

  
 

    

    
    
移動端Tap實戰技巧總結以及Vue混合開發自定義Tap
     
 最近在忙的專案是Vue的混合開發，因互動相對複雜，所以也踩了很多坑。在此做一下總結。 
1.tap事件的實際應用 
在使用tap事件時，老生常談的肯定是點透問題，大多情況下，在有滑屏互動的頁面時，我們會在根節點阻止預設行為以解決事件點透的bug。 
阻止預設行為有優點，但也會相對帶來一些問題。 
優點： 
（ 

  
 

    

    
    
Vue 開發自定義外掛學習記錄 -- 入門
     
 
 首先，你需要了解外掛實現的基本原理
 

  
 

 外掛基本原理：
 

  
 

 我們都知道用Vue.use註冊外掛，那你知道Vue.use(plugin) 幹了什麼？
 

 以下是我對Vue官網的一些摘錄和個人的理解
 

  
 

 Vue.use( plu 

  
 

    

    
    
android studio 開發自定義按鍵以及基礎動畫
     
 
							
							
							效果圖： 


這次主要記錄如何改變button的形狀。 
首先在專案app>res>drawable資料夾右鍵new新建 drawable rescource file,然後為drawable檔案命名即可。 
然後在新建的drawable xml檔 

  
 

    

    
    
Allure報告開發自定義外掛
     
 
                



當報告無法滿足當前專案的需求，需要自定義內容來展示在報告中，即需要開發自己的自定義外掛

最終結果 圖 ：demo的結果是新增了一個My Tab 目錄欄，（demo未做有意義資料和css樣式）





1.建立一個外掛專案

  基本上外掛專案包含2部分

java 

  
 

    

    
    
安卓開發自定義View之跑馬燈:MarqueeView
     
 
							
							
							 *本篇文章已授權微信公眾號 guolin_blog（郭霖）獨家釋出   

好久沒寫東西了，感覺有點虛度光陰了，也感覺有點生疏了，剛好最近專案裡面有個跑馬燈的需求，TextView一通設定之後還是出現各種衝突,尤其是當TextView與EditText共存的時 

  
 

    

    
    
VUE-7-2 自定義全域性元件（外掛）
     
  
 
 全域性元件（外掛）：就是指可以在main.js中使用Vue.use()進行全域性引入，然後在其他元件中就都可以使用了，如vue-router.element-UI

    import VueRouter from 'vue-router'
    Vue.use(VueRouter);

普通元 

  
 

    

    
    
flume之自定義sink元件
     
 
                flume內部提供了很多種sink，如：logger、file_roll、avro、hdfs、kafak、es等，方便直接將event資料對接到本地磁碟、或者其他第三方儲存中。有的時候，我們需要自定義source，來完成特殊需求。本文介紹如何開發自定義sink，來實現將eve 

  
 

    

    
    
開發自定義ScriptableRenderPipeline，將DrawCall降低180倍
     
 0x00 前言
大家都知道，Unity在2018版本中正式推出了Scriptable Render Pipeline。我們既可以通過Package Manager下載使用Unity預先建立好的LightWeight Render Pipeline和High Defination Render Pipeline 

  
 

    

    
    
SonarQube外掛開發自定義規則(5)新增可配置引數
     
 
								
								            
							
							
							1、程式碼



public class TXTooMuchIfCheck extends IssuableSubscriptionVisitor {

    private static fina