ELK 不是一款軟件，而是 Elasticsearch、Logstash 和 Kibana 三種軟件產品的首字母縮寫。這三者都是開源軟件，通常配合使用，而且又先后歸于 Elastic.co 公司名下，所以被簡稱為 ELK Stack。根據 Google Trend 的信息顯示，ELK Stack 已經成為目前最流行的集中式日志解決方案。

當前環境

1.系統：centos 7

2.docker 1.12.1

介紹

ElasticSearch

Elasticsearch 是一個實時的分布式搜索和分析引擎，它可以用于全文搜索，結構化搜索以及分析。它是一個建立在全文搜索引擎 Apache Lucene 基礎上的搜索引擎，使用 Java 語言編寫。

Logstash

Logstash 是一個具有實時渠道能力的數據收集引擎，主要用于日志的收集與解析，并將其存入 ElasticSearch中。

Kibana

Kibana 是一款基于 Apache 開源協議，使用 JavaScript 語言編寫，為 Elasticsearch 提供分析和可視化的 Web 平臺。它可以在 Elasticsearch 的索引中查找，交互數據，并生成各種維度的表圖。

Filebeat

引入Filebeat作為日志搜集器，主要是為了解決Logstash開銷大的問題。相比Logstash，Filebeat 所占系統的 CPU 和內存幾乎可以忽略不計。

架構

不引入Filebeat

引入Filebeat

部署

啟動ElasticSearch

docker run -d -p 9200:9200 --name elasticsearch elasticsearch

啟動Logstash

# 1. 新建配置文件logstash.confinput {
beats {
port => 5044
}
}

output {
stdout {
codec => rubydebug
}
elasticsearch {#填寫實際情況elasticsearch的訪問IP，因為是跨容器間的訪問，使用內網、公網IP，不要填寫127.0.0.1|localhosthosts => ["{$ELASTIC_IP}:9200"]

}
}# 2.啟動容器，暴露并映射端口，掛載配置文件docker run -d --expose 5044 -p 5044:5044 --name logstash -v "$PWD":/config-dir logstash -f /config-dir/logstash.conf

啟動Filebeat

下載地址：https://www.elastic.co/downloads/beats/filebeat

# 1.下載Filebeat壓縮包wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.2.2-linux-x86_64.tar.gz# 2.解壓文件tar -xvf filebeat-5.2.2-linux-x86_64.tar.gz# 3.新建配置文件filebeat.ymlfilebeat:
prospectors:
- paths:
- /tmp/test.log #日志文件地址input_type: log #從文件中讀取tail_files: true #以文件末尾開始讀取數據output:
logstash:
hosts: ["{$LOGSTASH_IP}:5044"] #填寫logstash的訪問IP# 4.運行filebeat./filebeat-5.2.2-linux-x86_64/filebeat -e -c filebeat.yml

啟動Kibana

docker run -d --name kibana -e ELASTICSEARCH_URL=http://{$ELASTIC_IP}:9200 -p 5601:5601 kibana

測試

模擬日志數據

# 1.創建日志文件touch /tmp/test.log# 2.向日志文件中寫入一條nginx訪問日志echo '127.0.0.1 - - [13/Mar/2017:22:57:14 +0800] "GET / HTTP/1.1" 200 3700 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36" "-"' >> /tmp/test.log

訪問 http://{$KIBANA_IP}:5601