#
太平洋保險集團“家園項目”大數據平臺DSG應用（oracle&kafka） 項目背景根據太平洋保險集團的IT建設規劃，在2017年年底，需要完成“一個太保，共同的家園”項目（簡稱家園項目）
1、kafka 安裝 安裝JDK tar xvf jdk1.8.0_231.tar.gz -C /usr/local && cd /usr/local ln -sv jdk1.8
kafka是一個高吞吐速度的消息中間件，可以部署在廉價的主機上。速度快的原因有兩個:1.從寫數據方面:寫入的數據按順序寫入到磁盤;memory mapped files磁盤讀寫的快慢取決于你怎么使用它
基于binlog的離線分析平臺的一些初步實踐?參考文檔：?http://quarterback.cn/%e9%80%9a%e8%bf%87kafka-nifi%e5%bf%ab%e9%80%9f%e6
用ELK打造強大的日志分析平臺，具體拓撲結構如下：在這里我們將進行kafka+filebeat+ELK5.4的部署各軟件版本jdk-8u131-linux-i586.tar.gz filebeat-5
Kafka的配置詳盡、復雜，想要進行全面的性能調優需要掌握大量信息，這里只記錄一下我在日常工作使用中走過的坑和經驗來對kafka集群進行優化常用的幾點。1.JVM的優化 ja
有序列化就會有反序列化，反序列化的操作是在Kafka Consumer中完成的，使用起來只需要配置一下key.deserializer和value.deseriaizer。對應上面自定義的Compan
Kafka為什么速度快、吞吐量大 Kafka是大數據領域無處不在的消息中間件，目前廣泛使用在企業內部的實時數據管道，并幫助企業構建自己的流計算應用程序。Kafka雖然是基于磁盤做的數據存儲，但卻具有高
部署Flume在Window環境中，Kafka部署在Linux上，從Flume發送事件到Kafka始終有一下錯誤，經過長時間在網上搜索終于把問題解決，解決辦法1：修改kafka中配置項，#advert
1、啟動：nohup ./bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 &2、刪除
