Flume的Sink怎么使用

這篇文章主要介紹“Flume的Sink怎么使用”，在日常操作中，相信很多人在Flume的Sink怎么使用問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Flume的Sink怎么使用”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

Logger Sink

Logs會輸出到console，是為了debug用的。

[root@hftest0001 conf]# pwd
/opt/apache-flume-1.6.0-bin/conf

[root@hftest0001 conf]# vi s-exec_c-m_s-logger.conf 
agent.sources = exec_tail
agent.channels = memoryChannel
agent.sinks = loggerSink

agent.sources.exec_tail.type = exec
agent.sources.exec_tail.command = tail -F /opt/flume-data/exec-tail.log
agent.sources.exec_tail.channels = memoryChannel

agent.sinks.loggerSink.type = logger
agent.sinks.loggerSink.channel = memoryChannel

agent.channels.memoryChannel.type = memory
agent.channels.memoryChannel.capacity = 100

[root@hftest0001 apache-flume-1.6.0-bin]# pwd
/opt/apache-flume-1.6.0-bin

[root@hftest0001 opt]# mkdir -p /opt/flume-data/
[root@hftest0001 opt]# touch /opt/flume-data/exec-tail.log
[root@hftest0001 apache-flume-1.6.0-bin]# flume-ng agent -n agent -c conf/ -f conf/s-exec_c-m_s-logger.conf 
....
....


[root@hftest0001 opt]# echo "Hello Flume" >> /opt/flume-data/exec-tail.log

觀察console，類似于 Event:{headers{} bodys: xxx xx x x x x Hello Flume }

HDFS Sink

[root@hftest0001 conf]# pwd
/opt/apache-flume-1.6.0-bin/conf

[root@hftest0001 conf]# vi s-exec_c-m_s-hdfs.conf 
agent.sources = exec_tail 
agent.channels = memoryChannel
agent.sinks = hdfs_sink

agent.sources.exec_tail.type = exec
agent.sources.exec_tail.command = tail -F /opt/flume-data/exec-tail.log

agent.sources.exec_tail.interceptors = i1
agent.sources.exec_tail.interceptors.i1.type = org.apache.flume.interceptor.TimestampInterceptor$Builder
agent.sources.exec_tail.channels = memoryChannel

agent.sinks.hdfs_sink.type = hdfs
agent.sinks.hdfs_sink.hdfs.path = hdfs://10.224.243.124:9000/flume/events/%y-%m-%d =>寫入hdfs的路徑
#
#roll file的三個策略，(避免生成大量的空文件，或者小文件)
#agent.sinks.hdfs_sink.hdfs.rollInterval = 30   =>基于時間:default 30s，設置為0，則disable
#agent.sinks.hdfs_sink.hdfs.rollSize = 1024     =>基于文件大小:default 1024bytes,設置為0，則disable
#agent.sinks.hdfs_sink.hdfs.rollCount = 10      =>基于文件消息的數量:default 10個，設置為0，則disable

agent.sinks.hdfs_sink.hdfs.fileType = DataStream =>flume寫入hdfs的文件類型 default:SequenceFile
#SequenceFile => 類似于hadoop.io.LongWritable "ora.apache.hadoop.io.ByteWritable..."...
#DataStream => 不會對輸出進行壓縮，即不能再設置hdfs.codeC
#CompressedStream =>就會對輸出進行壓縮，并要求設置可用的hdfs.codeC
#agent.sinks.hdfs_sink.hdfs.codeC

agent.sinks.hdfs_sink.hdfs.writeFormat = Text
agent.sinks.hdfs_sink.hdfs.filePrefix = flume
#agent.sinks.hdfs_sink.hdfs.hdfs.callTimeout = 10000 => flume對Hdfs的操作如open，write，flush等等，對network不佳的系統，可以適當的調大該參數

agent.sinks.hdfs_sink.channel = memoryChannel

agent.channels.memoryChannel.type = memory

agent.channels.memoryChannel.capacity = 100

File Roll Sink

[root@hftest0001 conf]# pwd
/opt/apache-flume-1.6.0-bin/conf

[root@hftest0001 conf]# vi s-exec_c-m_s-file-roll.conf 
agent.sources = exec_tail-1
agent.channels = memoryChannel
agent.sinks = file_roll-1

agent.sources.exec_tail-1.type = exec
agent.sources.exec_tail-1.command = tail -F /opt/flume-data/exec-tail.log

agent.sources.exec_tail-1.channels = memoryChannel

agent.sinks.file_roll-1.type = file_roll
agent.sinks.file_roll-1.sink.directory= /opt/flume-data/file-roll-1
#agent.sinks.file_roll-1.sink.rollInterval= 30 => roll file策略，default:30s 生成一個新的文件。設置為0，則disable roll file，即會全部寫入單一的文件中

agent.sinks.file_roll-1.channel = memoryChannel

agent.channels.memoryChannel.type = memory
agent.channels.memoryChannel.capacity = 100

到此，關于“Flume的Sink怎么使用”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！