溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇“Centos7下如何快速部署EFK服務”文章的知識點大部分人都不太理解，所以小編給大家總結了以下內容，內容詳細，步驟清晰，具有一定的借鑒價值，希望大家閱讀完這篇文章能有所收獲，下面我們一起來看看這篇“Centos7下如何快速部署EFK服務”文章吧。
EFK是一套分布式日志服務解決方案，由各個組件構成。EFK分別是指：elasticsearch、filebeat、kibana。不過在真實的生產環境中，搭建日志服務可能還需要logstash來進行規制解析，使用kafka進行削峰填谷作為緩沖。
EFK采用集中式的日志管理架構
elasticsearch：一個開源分布式搜索引擎，提供搜集、分析、存儲數據三大功能。它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。
kibana：可以為Logstash 、Beats和ElasticSearch提供友好的日志分析Web 界面，可以幫助匯總、分析和搜索重要數據日志。
filebeat：輕量級日志采集器。需要在每個應用服務器配置filebeat，來采集日志，并輸出到elasticsearch。
function install_es7_el7()
{
echo "" echo -e "\033[33m****************************************************安裝ElasticSearch 7.6.2*****************************************************\033[0m"
#action "********初始化JAVA環境********" /bin/true #install_jdk #下載包 if [ -f /opt/elasticsearch-7.6.2-x86_64.rpm ] && [ -f /opt/elasticsearch-analysis-ik-7.6.2.zip ] ;then echo "*****存在ElasticSearch 7.6.2安裝包，無需下載*****" else ping -c 4 artifacts.elastic.co >/dev/null 2>&1
if [ $? -eq 0 ];then wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.2-x86_64.rpm -O /opt/elasticsearch-7.6.2-x86_64.rpm
wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.6.2/elasticsearch-analysis-ik-7.6.2.zip -O /opt/elasticsearch-analysis-ik-7.6.2.zip
else echo "please download ES7 package manual !" exit $?
fi
fi #安裝es7.6 action "********安裝ElasticSearch 7.6.2服務********" /bin/true chmod u+x /opt/elasticsearch-7.6.2-x86_64.rpm && rpm -ivh /opt/elasticsearch-7.6.2-x86_64.rpm
#建目錄及授權 mkdir -p $ES_HOME/data && mkdir -p $ES_HOME/log chown -R elasticsearch:elasticsearch $ES_HOME && chmod -R 755 $ES_HOME
#修改ES配置文件 cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml_bak &>/dev/null
cat > /etc/elasticsearch/elasticsearch.yml # 設定本機節點名 node.name: es_node # 設定集群主節點清單 cluster.initial_master_nodes: ["es_node"] path.data: ${ES_HOME}/data path.logs: ${ES_HOME}/log bootstrap.memory_lock: false bootstrap.system_call_filter: false # 允許從其它機器訪問 network.host: 0.0.0.0 http.port: ${ES_PORT} discovery.zen.ping.unicast.hosts: ["${ES_IP}:${ES_PORT}"] EOF #安裝分詞器：ik-analyzer插件 #默認情況下，ES使用內置的標準分詞器，對文本進行解析。但是對于中文，其會拆解為一個一個的漢字，最終失去了分詞的意義，所以安裝分詞器：ik-analyzer插件 action "********安裝ik-analyzer插件********" /bin/true mkdir -p /usr/share/elasticsearch/plugins/ik unzip /opt/elasticsearch-analysis-ik-7.6.2.zip -d /usr/share/elasticsearch/plugins/ik/ &>/dev/null
chown -R elasticsearch:elasticsearch /usr/share/elasticsearch/plugins/ && chmod -R 755 /usr/share/elasticsearch/plugins/
sleep 2#在filebeat配置文件中為索引模板添加默認分詞器屬性。未來新創建的索引均引用此屬性:#setup.template.settings:# index.analysis.analyzer.default.type: "ik_max_word"# index.analysis.analyzer.default_search.type: "ik_max_word"#setup.template.overwrite: true#在Linux終端中執行如下命令，為現有所有索引，設置默認分詞器屬性:#curl -X POST "172.16.20.143:9200/_all/_close"#curl -X PUT -H'Content-Type: application/json' 'http://172.16.20.143:9200/_all/_settings?preserve_existing=true' -d '{# "index.analysis.analyzer.default.type" : "ik_max_word",# "index.analysis.analyzer.default_search.type" : "ik_max_word"#}'#curl -X POST "172.16.20.143:9200/_all/_open" #啟動ES并初始化數據 action "********啟動es并初始化數據********" /bin/true systemctl daemon-reload && systemctl enable elasticsearch.service
systemctl restart elasticsearch.service
es_version=`curl -XGET ${ES_IP}:${ES_PORT}`
echo -e "\033[33m**************************************************完成ElasticSearch 7.6.2安裝***************************************************\033[0m"cat > /tmp/es7.log ${ES_IP}
ES服務器端口:${ES_PORT}ES數據目錄： ${ES_HOME}/data
ES日志目錄： ${ES_HOME}/logES詳細信息： ${es_version}EOF
cat /tmp/es7.log
echo -e "\e[1;31m 以上信息10秒后消失，保存在/tmp/es7.log文件下 \e[0m" echo -e "\033[33m************************************************************************************************************************\033[0m" echo "" sleep 10
}
function install_es7_el7()
{
echo "" echo -e "\033[33m****************************************************安裝ElasticSearch 7.6.2*****************************************************\033[0m"
#action "********初始化JAVA環境********" /bin/true #install_jdk #下載包 if [ -f /opt/elasticsearch-7.6.2-x86_64.rpm ] && [ -f /opt/elasticsearch-analysis-ik-7.6.2.zip ] ;then echo "*****存在ElasticSearch 7.6.2安裝包，無需下載*****" else ping -c 4 artifacts.elastic.co >/dev/null 2>&1
if [ $? -eq 0 ];then wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.2-x86_64.rpm -O /opt/elasticsearch-7.6.2-x86_64.rpm
wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.6.2/elasticsearch-analysis-ik-7.6.2.zip -O /opt/elasticsearch-analysis-ik-7.6.2.zip
else echo "please download ES7 package manual !" exit $?
fi
fi #安裝es7.6 action "********安裝ElasticSearch 7.6.2服務********" /bin/true chmod u+x /opt/elasticsearch-7.6.2-x86_64.rpm && rpm -ivh /opt/elasticsearch-7.6.2-x86_64.rpm
#建目錄及授權 mkdir -p $ES_HOME/data && mkdir -p $ES_HOME/log chown -R elasticsearch:elasticsearch $ES_HOME && chmod -R 755 $ES_HOME
#修改ES配置文件 cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml_bak &>/dev/null
cat > /etc/elasticsearch/elasticsearch.yml # 設定本機節點名 node.name: es_node # 設定集群主節點清單 cluster.initial_master_nodes: ["es_node"] path.data: ${ES_HOME}/data path.logs: ${ES_HOME}/log bootstrap.memory_lock: false bootstrap.system_call_filter: false # 允許從其它機器訪問 network.host: 0.0.0.0 http.port: ${ES_PORT} discovery.zen.ping.unicast.hosts: ["${ES_IP}:${ES_PORT}"] EOF #安裝分詞器：ik-analyzer插件 #默認情況下，ES使用內置的標準分詞器，對文本進行解析。但是對于中文，其會拆解為一個一個的漢字，最終失去了分詞的意義，所以安裝分詞器：ik-analyzer插件 action "********安裝ik-analyzer插件********" /bin/true mkdir -p /usr/share/elasticsearch/plugins/ik unzip /opt/elasticsearch-analysis-ik-7.6.2.zip -d /usr/share/elasticsearch/plugins/ik/ &>/dev/null
chown -R elasticsearch:elasticsearch /usr/share/elasticsearch/plugins/ && chmod -R 755 /usr/share/elasticsearch/plugins/
sleep 2#在filebeat配置文件中為索引模板添加默認分詞器屬性。未來新創建的索引均引用此屬性:#setup.template.settings:# index.analysis.analyzer.default.type: "ik_max_word"# index.analysis.analyzer.default_search.type: "ik_max_word"#setup.template.overwrite: true#在Linux終端中執行如下命令，為現有所有索引，設置默認分詞器屬性:#curl -X POST "172.16.20.143:9200/_all/_close"#curl -X PUT -H'Content-Type: application/json' 'http://172.16.20.143:9200/_all/_settings?preserve_existing=true' -d '{# "index.analysis.analyzer.default.type" : "ik_max_word",# "index.analysis.analyzer.default_search.type" : "ik_max_word"#}'#curl -X POST "172.16.20.143:9200/_all/_open" #啟動ES并初始化數據 action "********啟動es并初始化數據********" /bin/true systemctl daemon-reload && systemctl enable elasticsearch.service
systemctl restart elasticsearch.service
es_version=`curl -XGET ${ES_IP}:${ES_PORT}`
echo -e "\033[33m**************************************************完成ElasticSearch 7.6.2安裝***************************************************\033[0m"cat > /tmp/es7.log ${ES_IP}
ES服務器端口:${ES_PORT}ES數據目錄： ${ES_HOME}/data
ES日志目錄： ${ES_HOME}/logES詳細信息： ${es_version}EOF
cat /tmp/es7.log
echo -e "\e[1;31m 以上信息10秒后消失，保存在/tmp/es7.log文件下 \e[0m" echo -e "\033[33m************************************************************************************************************************\033[0m" echo "" sleep 10
}
function install_filebeat7_el7()
{
echo "" echo -e "\033[33m****************************************************安裝Filebeat 7.6.2*****************************************************\033[0m"
#下載包 if [ -f /opt/filebeat-7.6.2-x86_64.rpm ] ;then echo "*****存在Filebeat 7.6.2安裝包，無需下載*****" else ping -c 4 artifacts.elastic.co >/dev/null 2>&1
if [ $? -eq 0 ];then wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.2-x86_64.rpm -O /opt/filebeat-7.6.2-x86_64.rpm
else echo "please download Filebeat7.6 package manual !" exit $?
fi
fi #安裝filebeat7.6 action "********安裝filebeat 7.6.2服務********" /bin/true chmod u+x /opt/filebeat-7.6.2-x86_64.rpm && rpm -ivh /opt/filebeat-7.6.2-x86_64.rpm
#修改kibana配置文件 cp /etc/filebeat/filebeat.yml /etc/filebeat/filebeat.yml_bak
cat > /etc/filebeat/filebeat.yml type: log enabled: true paths: - /lcp_logs/*.log filebeat.config.modules: path: /etc/filebeat/modules.d/*.yml reload.enabled: false setup.template.settings: #number_of_shards 是數據分片數，默認為5，有時候設置為3 index.number_of_shards: 3 index.analysis.analyzer.default.type: "ik_max_word" index.analysis.analyzer.default_search.type: "ik_max_word" setup.template.overwrite: true setup.kibana: host: "${KIBANA_IP}:${KIBANA_PORT}" output.elasticsearch: hosts: ["${ES_IP}:${ES_PORT}"] ilm.enabled: true ilm.rollover_alias: "fsl_uat.prod1" ilm.pattern: "{now/d}-000001" processors: - add_host_metadata: ~ - add_cloud_metadata: ~ EOF #啟動filebeat并初始化數據 action "********啟動filebeat并初始化數據********" /bin/true systemctl daemon-reload && systemctl enable filebeat.service systemctl restart filebeat.service #nohup ./filebeat -e -c filebeat.yml >/dev/null 2>&1 &
echo -e "\033[33m**************************************************完成Filebeat 7.6.2安裝***************************************************\033[0m"cat > /tmp/filebeat7.log ${KIBANA_IP}:${KIBANA_PORT}filebeat配置elasticsearch： ${ES_IP}:${ES_PORT}EOF
cat /tmp/filebeat7.log
echo -e "\e[1;31m 以上信息10秒后消失，保存在/tmp/filebeat7.log文件下 \e[0m" echo -e "\033[33m************************************************************************************************************************\033[0m" echo "" sleep 10
}
以上就是關于“Centos7下如何快速部署EFK服務”這篇文章的內容，相信大家都有了一定的了解，希望小編分享的內容對大家有幫助，若想了解更多相關的知識內容，請關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
