apache flume sources

1. Avro Source
   

簡介：監聽Avro端口并從外部的Avro客戶端接收事件流，多個flume agent可以通過Avro形成一個組織。

Property Name Default Description

channels –  

type – 需要配置為Avro

bind – 需要監聽的主機名或ip地址

port – 監聽的端口

threads – 工作的最大線程數

selector.type  

selector.*  

interceptors – 空格分割的攔截器列表

interceptors.*  

compression-type none 這塊可以是“none”或者“deflate”，壓縮類型必須和AvroSource匹配

ssl false 設置為true開啟ssl. 同時必須明確 “keystore”和“keystore-password”.

keystore – 這是ssl需要的keystore file的地址

keystore-password – 這是ssl需要的keystore的密碼

keystore-type JKS keystore的類型. 可以是“JKS”或者“PKCS12”.

exclude-protocols SSLv3 空格分割的需要排序的SSL/TLS協議. SSLv3默認被排除

ipFilter false 設置為true開啟netty的ip過濾

ipFilter.rules – 通過逗號分隔的ip過濾規則

ipFilter.rules例子：ipFilter.rules=allow:ip:127.*,allow:name:localhost,deny:ip:*

2．Thrift Source

  簡介:監控Thrift客戶端并從外部的Thrift客戶端接收事件流.

    Property Name Default Description

    channels –  

    type – 需要配置為Thrift

    bind – 需要監聽的主機名或ip地址

    port – 需要監聽的端口

    threads – 工作的最大線程數

    selector.type  

    selector.*  

    interceptors – 空格分割的攔截器列表

    interceptors.*  

    ssl false 設置為true開啟ssl. 同時必須明確 “keystore”和“keystore-    password”.

    keystore – This is the path to a Java keystore file. Required for SSL.

    keystore-password – The password for the Java keystore. Required for SSL.

    keystore-type JKS The type of the Java keystore. This can be “JKS” or “PKCS12”.

    exclude-protocols SSLv3 Space-separated list of SSL/TLS protocols to exclude. SSLv3 will always be excluded in addition to the protocols specified.

    kerberos false Set to true to enable kerberos authentication. In kerberos mode, agent-principal and agent-keytab are required for successful authentication. The Thrift source in secure mode, will accept connections only from Thrift clients that have kerberos enabled and are successfully authenticated to the kerberos KDC.

    agent-principal – The kerberos principal used by the Thrift Source to authenticate to the kerberos KDC.

    agent-keytab —- The keytab location used by the Thrift Source in combination with the agent-principal to authenticate to the kerberos KDC.

3.exec source

  簡介:運行一個給定的unix命令,并且該命令會不斷產生標準數據(stderr直接丟棄除非屬性 logStdErr設置為true),如果進程因為任何原因失敗了,source仍然會繼續運行但是沒有數據.

    Property Name Default Description

    channels –  

    type – 需要設置為exec

    command – 執行的unix命令

    shell – shell將會調用的命令,如:/bin/sh -c.

    restartThrottle 10000     多少毫秒重新執行

    restart false 如果命令失敗了是否重啟

    logStdErr false 是否stderr被記錄

    batchSize 20 一次發送到channel的記錄條數

    batchTimeout 3000 如果緩存還沒有慢,數據在緩存多少毫秒后被發送

    selector.type replicating replicating或者multiplexing

    selector.* 取決于selector.type的值

    interceptors – 空格分割的攔截器列表

    interceptors.*  

警告:ececsource和其他的異步都是無法保證的source,數據可能會丟失,比如當你在tailf一個文件的時候,進程出現了問題,當恢復正常的時候execsource無法知道上次讀取到了什么位置,只會從當前位置開始tail,解決方法是可以使用spool source.

提示:當使用tail時,使用-F參數而不是-f,-F支持文件旋轉

4.JMS source

  簡介:JMS source從JMS目標地址比如queue或者是topic獲取信息,我們只有測試過ActiveMQ

    Property Name Default Description

    channels –  

    type – 需要設置為jms

    initialContextFactory – e.g: org.apache.activemq.jndi.ActiveMQInitialContextFactory

    connectionFactory – The JNDI name the connection factory shoulld appear as

    providerURL – The JMS provider URL

    destinationName – Destination name

    destinationType – Destination type (queue or topic)

    messageSelector – Message selector to use when creating the consumer

    userName – Username for the destination/provider

    passwordFile – File containing the password for the destination/provider

    batchSize 100 Number of messages to consume in one batch

    converter.type DEFAULT Class to use to convert messages to flume events. See below.

    converter.* – Converter properties.

    converter.charset UTF-8 Default converter only. Charset to use when converting JMS TextMessages to byte arrays.

converter:BytesMessage,TextMessage,ObjectMessage

5.Spooling Directory Source

  簡介:監聽給定目錄下文件,然后將文件傳輸,該source是可靠的不會丟失數據.放到該目錄下的文件必須是不可變的,唯一的.

  如果有以下條件產生,任務將會報錯:

     1.當目錄中文件被打開寫入時,flume將會報錯,任務結束

    2.當文件被再次使用的時候,flume將會報錯,任務結束

  為了解決這些問題,使用唯一標識,如timestamp將會有效解決

    Property Name Default Description

    channels –  

    type – 需要設置為spooldir.

    spoolDir – 讀取文件的目錄

    fileSuffix .COMPLETED 當文件讀取完畢后加的后綴名

    deletePolicy never 是否刪除文件,never或者immediate

    fileHeader false 文件是否存儲到一個絕對路徑

    fileHeaderKey file 絕對路徑的值

    basenameHeader false Whether to add a header storing the basename of the file.

    basenameHeaderKey basename Header Key to use when appending basename of file to event header.

    ignorePattern ^$    使用正則表達式表示哪些文件被跳過

    trackerDir .flumespool 存儲進程matadata文件的路徑,如果不是絕對路徑的話將被解釋為spooldir的相對路徑

    consumeOrder oldest/youngest/random,文件被處理的先后,使用文件的最后修改時間來比較,如果時間一致,文件小的先被處理

    maxBackoff 4000 當緩沖池滿了后多少毫秒后重新嘗試發送

    batchSize 100 每次傳送到channel的記錄數

    inputCharset UTF-8 文件被當做文本的編碼.

    decodeErrorPolicy FAIL 當文件無法解碼時怎么做, FAIL: Throw an exception and fail to parse the file. REPLACE: Replace the unparseable character with the “replacement character” char, typically Unicode U+FFFD. IGNORE: Drop the unparseable character sequence.

    deserializer LINE 指定文件被怎么樣指定為事件, 默認將每一行當做一個事件.自己實現的類必須implement EventDeserializer.Builder.

    deserializer.* Varies per event deserializer.

    bufferMaxLines – (Obselete) 這個配置目前被忽略

    bufferMaxLineLength 5000 (Deprecated) 多少字節的行可以被提交,不贊成使用, Use     deserializer.maxLineLength instead.

    selector.type replicating replicating or multiplexing

    selector.* Depends on the selector.type value

    interceptors – Space-separated list of interceptors

    interceptors.*