kafka原理及架構是什么

這篇文章主要介紹“kafka原理及架構是什么”，在日常操作中，相信很多人在kafka原理及架構是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”kafka原理及架構是什么”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

kafka背景及應用場景

     由LinkedIn 公司開發的一個分布式的消息系統；
     高吞吐率；
     支持Kafka Server間的消息分區，及分布式消費；
     同時支持離線數據處理和實時數據處理；
     支持在線水平擴展。

kafka基本架構

kafka基本名詞解釋

kafka順序寫磁盤

Kafka的文件存儲機制

Kafka的文件復制原理

Kafka的數據可靠性的保證

request.required.acks=-1參數來設置數據可靠性的級別
min.insync.replicas配合使用

Kafka的發送模式，默認同步producer.type=sync，以下是異步的參數

Kafka的消息傳輸保障

At most once: 消息可能會丟，但絕不會重復傳輸
At least once：消息絕不會丟，但可能會重復傳輸
Exactly once：每條消息肯定會被傳輸一次且僅傳輸一次

Kafka的單節點搭建

Kafka版本下載
配置server.properties和consumer.properties
Kafka依賴zookeeper

搭建步驟

1：下載kafka
    地址：http://kafka.apache.org/downloads

2：上傳安裝包到服務器上面，并且進行解壓

3：進入kafka的安裝目錄下的config目錄
    1）編輯server.properties文件，修改zk的服務地址，比如：
    zookeeper.connect=hm02:2181,hs0201:2181,hs0202:2181

    2）編輯consumer.properties文件，修改zk的服務地址，比如：
    zookeeper.connect=hm02:2181,hs0201:2181,hs0202:2181

4：啟動zk集群
     ./zookeeper-3.4.8/bin/zkServer.sh start

5：啟動kafka的server
    ./bin/kafka-server-start.sh config/server.properties 啟動kafka服務

6：克隆一個會話來進行創建一個主題，topic
     ./bin/kafka-topics.sh --create --zookeeper hm02:2181,hs0201:2181,hs0202:2181 --replication-factor 1 --partitions 1 --topic mykaka

    查看有那些topic：
    ./bin/kafka-topics.sh  --list --zookeeper hm02:2181,hs0201:2181,hs0202:2181

7：創建一個生產者，這里是使用命令行的producer
    ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic mykaka

8：創建一個消費者，這里也是用命令行的consumer
     ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic mykaka --from-beginning

到此，關于“kafka原理及架構是什么”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！