您好,登錄后才能下訂單哦!
本篇內容介紹了“storm的詳細安裝教程”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!
本文演示安裝單機storm系統,并運行內置的示例程序。分為四個步驟:
安裝Java環境
安裝 Zookeeper
安裝Storm(單機)
運行Storm實例-WordCount
安裝Java環境
[root@localhost strom]# yum install java-1.7.0-openjdk java-1.7.0-openjdk-devel
env沒有JAVA_HOME變量,因此要自己配置該變量。查找jdk安裝目錄。
[root@localhost strom]# find / -name java-1.7.0-openjdk/usr/lib/jvm/java-1.7.0-openjdk
在/root目錄下編輯.bashrc
[root@localhost ~]# vi .bashrc # .bashrc# Source global definitionsif [ -f /etc/bashrc ]; then . /etc/bashrcfi#文件末尾加上JAVA_HOME變量export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk
使環境變量生效
[root@localhost ~]# source .bashrc
檢查是否有JAVA_HOME變量
[root@localhost ~]# env | grep JAVAJAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk
安裝 Zookeeper
下載zookeeper-3.4.6.tar.gz,上傳到服務器,解壓
[root@localhost strom]# tar -zxf zookeeper-3.4.6.tar.gz
進入zookeeper的conf文件夾
[root@localhost conf]# cp zoo_sample.cfg zoo.cfg然后vi zoo.cfg修改dataDir目錄為你希望的目錄# example sakes.dataDir=/home/strom/zookeeper-3.4.6/data
啟動zookeeper
[root@localhost bin]# ./zkServer.sh startJMX enabled by defaultUsing config: /home/strom/zookeeper-3.4.6/bin/../conf/zoo.cfgStarting zookeeper ... STARTED
安裝Storm(單機)
下載apache-storm-0.9.6.tar.gz 上傳服務器,解壓
[root@localhost strom]# tar -zxf apache-storm-0.9.6.tar.gz
進入storm的conf目錄,修改storm.yaml文件,地址改成127.0.0.1,ui端口改成8888
[root@localhost conf]# vi storm.yamlstorm.zookeeper.servers:- "127.0.0.1"# - "server2"#nimbus.host: "127.0.0.1"ui.port: 8888
bin目錄下依次啟動storm nimbus、storm supervisor、storm ui
[root@localhost bin]# ./storm nimbusRunning: /usr/lib/jvm/java-1.7.0-openjdk/bin/j。。。-Dlogback.configurationFile=/home/strom/apache-storm-0.9.6/logback/cluster.xml backtype.storm.daemon.nimbus
[root@localhost bin]# ./storm supervisorRunning: /usr/lib/jvm/java-1.7.0-openjdk/bin/java -server -Dstorm.options= -Dstorm.home=/home/strom/apache-storm-0.9.6 -Dstorm.log.dir=/home/strom/apache-storm-0.9.6/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/strom/apache-storm-0.9.6/lib/storm-core-0.9.6.jar:/home/strom/apache-storm-0.9.6/lib/clojure-1.5.1.jar:/home/strom/apache-storm-0.9.6/lib/clj-time-0.4.1.jar:/home/strom/apache-storm-.name=supervisor.log -Dlogback.configurationFile=/home/strom/apache-storm-0.9.6/logback/cluster.xml backtype.storm.daemon.supervisor
[root@bogon bin]# ./storm uiRunning: /usr/lib/jvm/java-1.7.0-openjdk/bin/java -server -Dstorm.options= -Dstorm.home=/home/strom/apache-storm-0.9.6 -Dstorm.log.dir=/home/strom/apache-storm-0.9.6conf -Xmx768m -Dlogfile.name=ui.log -Dlogback.configurationFile=/home/strom/apache-storm-0.9.6/logback/cluster.xml backtype.storm.ui.core
瀏覽器輸入IP:8888可以打開UI界面。
如果訪問UI打不開一般是防火墻沒關閉,systemctl stop firewalld臨時關閉防火墻試試。
下圖描述了幾個角色之間的關系
運行Storm實例-WordCount
運行內置示例,示例程序不斷地取如下語句作為數據源,然后統計單詞出現的次數。后面加上grep the是篩選統計結果關于the這個單詞的次數。該程序執行10秒后會自動關閉。
{
"the cow jumped over the moon",
"an apple a day keeps the doctor away",
"four score and seven years ago",
"snow white and the seven dwarfs", "i am at two with nature"
}
[root@bogon apache-storm-0.9.6]# ./bin/storm jar ./examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology |grep 'Thread-[0-9]*-count' | grep the33663 [Thread-11-count] INFO backtype.storm.daemon.executor - Processing received message source: split:7, stream: default, id: {}, ["the"]33663 [Thread-11-count] INFO backtype.storm.daemon.task - Emitting: count default [the, 1]33672 [Thread-11-count] INFO backtype.storm.daemon.executor - Processing received message source: split:6, stream: default, id: {}, ["the"]33672 [Thread-11-count] INFO backtype.storm.daemon.task - Emitting: count default [the, 2]33678 [Thread-11-count] INFO backtype.storm.daemon.executor - Processing received message source: split:6, stream: default, id: {}, ["the"]33678 [Thread-11-count] INFO backtype.storm.daemon.task - Emitting: count default [the, 3]
其它版本的安裝包不一定能安裝成功。請嚴格按照文中版本下載安裝包,操作系統為Redhat7.6,我安裝其它版本時遇到的報錯為
Error: Could not find or load main class org.apache.zookeeper.server.quorum.QuorumPeerMain
如果自行開發storm程序,需要創建maven工程,按storm要求寫spout,bolt,然后打包上傳,運行測試。
“storm的詳細安裝教程”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站,小編將為大家輸出更多高質量的實用文章!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。