如何解析自定義kafka的parcel庫及CDH安裝kafka服務無法安裝過去的排雷過程

如何解析自定義kafka的parcel庫及CDH安裝kafka服務無法安裝過去的排雷過程，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。

1.版本
CDH5.9.1  安裝KAFKA-2.0.2-1.2.0.2.p0.5-el6     https://archive.cloudera.com/kafka/parcels/2.0/       失敗
CDH5.9.1  安裝KAFKA-2.1.0-1.2.1.0.p0.115-el6  https://archive.cloudera.com/kafka/parcels/2.1.0/      失敗
CDH5.10.0 安裝KAFKA-2.1.1-1.2.1.1.p0.18-el6   https://archive.cloudera.com/kafka/parcels/latest/     失敗

2.錯誤描述
自定義kafka的parcel庫,安裝kafka服務,無法安裝過去。

2.1打開 stdout,stderr,Role Log 三個日志輸出，
我們一般出現問題，只會看Role log的，這時拋錯為"Will not attempt to authenticate using SASL (unknown error)",這時我們就分析kafka連接不上zk,
于是Google，百度等等,各種檢查一大堆，最后沒有解決問題。

2.2具體排查: 

1. 防火墻,

2. 端口號,

3. /etc/hosts文件,

4. zoo.cfg文件,

5. 用戶權限,

6. kafka的zk jar包(客戶端)和zookeeper的jar包版本,

7. kafka broker進程的內存太小，直接oom

3.Role log:
Opening socket connection to server sht-sgmhadoopdn-03/172.16.101.60:2181. Will not attempt to authenticate using SASL (unknown error)


4.stdout:
java.lang.OutOfMemoryError: Java heap space


5.stderr:
+ grep -q OnOutOfMemoryError /proc/14495/cmdline
+ RET=0
+ '[' 0 -eq 0 ']'
+ TARGET=14495
++ date
+ echo Thu Mar 30 18:10:20 CST 2017
+ kill -9 14495


6.經過n次的排查操作,無效。這時我才仔細去看stdout 和 stderr日志,發現這么一句話“OnOutOfMemoryError”，
剛開始我已經注意到這句話，但是沒有仔細去想，所以耗時差不多1.5工作日。

7.我們需要刪除kafka服務，重新安裝，那么最好也要將kafka的log.dirs參數的值為"/var/local/kafka/data",這個目錄，安裝的機器上手工刪除掉。
   
8.于是我們另外打開cdh的home界面,發現kafka已經安裝上，就是啟動失敗，然后去kafka的配置界面搜索"memory"字樣,修改為1G,保存。
 
 
 
9.啟動kafka即可。

 
10.思考
在第一次安裝時，界面中沒有配置這個參數的值。
為什么，為什么，為什么kafka的在安裝時broker_max_heap_size這個參數設置的這么小？

看完上述內容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注億速云行業資訊頻道，感謝您對億速云的支持。