溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要為大家展示了“Flume采集數據時在HDFS上產生大量小文件的問題怎么辦”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“Flume采集數據時在HDFS上產生大量小文件的問題怎么辦”這篇文章吧。
調用agent 配置文件的：
#Describe the sink 添加：
a1.sinks.k1.hdfs.rollSize=0
a1.sinks.k1.hdfs.rollCount=0 rollSize 默認值：1024，當臨時文件達到該大小（單位：bytes）時，滾動成目標文件。如果設置成0，則表示不根據臨時文件大小來滾動文件。 rollCount 默認值：10，當events數據達到該數量時候，將臨時文件滾動成目標文件，如果設置成0，則表示不根據events數據來滾動文件。
還有另一種出現大量小文件對應的解決方案，即設置a1.sinks.k1.hdfs.minBlockReplicas=1。因為文件會因為所在塊的復制而滾動文件 待測試......
以上是“Flume采集數據時在HDFS上產生大量小文件的問題怎么辦”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
