您好,登錄后才能下訂單哦!
這篇文章主要介紹“Storm中怎么定義Blots程序”,在日常操作中,相信很多人在Storm中怎么定義Blots程序問題上存在疑惑,小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”Storm中怎么定義Blots程序”的疑惑有所幫助!接下來,請跟著小編一起來學習吧!
具體內容
在Storm程序開發過程之中有兩個重要的核心概念:Spout、Blot。Spout會作為數據的發起點,這個數據可能來源于各種地方,例如:Kafka傳遞過來的消息內容,而每一個Spout接收到數據之后如果有需要則將數據傳遞給Blot,由多個Blot進行數據的操作處理。把每一個Blot想象為一個數據的過濾器,而最后一個Blot將作為數據的存儲使用,而一般的存儲設備往往是文件、Redis數據庫。
在本次程序的處理里面,Spouts將使用隨機數產生相應的年齡數據,而有會有三個Blot進行數據的處理,這些數據處理是有自己嚴格的語法要求的。如果要想實現Storm開發,則需要將Storm所有的相關庫文件配置到ClassPath之中。如果要想開發Spout往往需要實現一個IRickSpout接口,但是這個接口里面的方法比較多,所以建議繼承這個接口的子類:BaseRichSpout。范例:定義InfoCreateSpouts
package cn.mldn.info.spouts;
import java.util.Map;
import java.util.Random;
import org.apache.storm.spout.SpoutOutputCollector;
import org.apache.storm.task.TopologyContext;
import org.apache.storm.topology.OutputFieldsDeclarer;importorg.apache.storm.topology.base.BaseRichSpout;
import org.apache.storm.tuple.Fields;
import org.apache.storm.tuple.Values;
@SuppressWarnings("serial")
publi cclass InfoCreateSpoutextendsBaseRichSpout{
private SpoutOutputCollector collector=null;
private String nameStr="aBcDefghIjklmnopQrStuvwxyz";//假設為用戶名
private Random rand=new Random();
@SuppressWarnings("rawtypes")
@Override
public void open(Mapconf,TopologyContextcontext,SpoutOutputCollectorcollector){
//為Spout初始化方法,這個初始化方法只執行一次;
this.collector=collector;//接收初始化方法中的SpoutOutputCollector對象 }
@Override
publicvoidnextTuple()
{
//執行Spout程序時會自動找到此方法,此方法為發送消息
//從正常的開發角度而言,此處的數據應該由消息系統傳遞過來
String nameInfo=String.valueOf(this.nameStr.charAt(rand.nextInt(nameStr.length())));intageInfo=this.rand.nextInt(150);//隨機生成一個年齡
//最終如果要進行數據的發送,結構:name、age,所有的Spouts的數據要交給Blot完成。
this.collector.emit(newValues(nameInfo,ageInfo));
}
@Override
publicvoiddeclareOutputFields(OutputFieldsDeclarerdeclare){
//需要定義每一個傳輸中的數據保存的名稱
declare.declare(newFields("name","age"));
//向后發送Tuple的時候此為信息的文字標注}
}
在整個的代碼里面,nextTuple()為系統自動調用,Spout產生Blot所需要的數據。
定義Blots程序
在本處理流程之中需要有三個Blot,作用分別如下:
·AgeJudementBlot:判斷傳入數據的年齡是成年人(ADULT)還是年輕人(YOUNG);·NameUpperBlot:因為姓名有大寫和小寫,為了統一管理,信息都變為大寫;·FinalBlot:進行數據的保存處理。但是需要注意的是,此時定義的只是一個個獨立的Blot,彼此之間的聯系需要通過程序來完成。范例:進行年齡判斷的Blot實現.
package cn.mldn.info.blots;import org.apache.storm.topology.BasicOutputCollector;importorg.apache.storm.topology.OutputFieldsDeclarer;importorg.apache.storm.topology.base.BaseBasicBolt;import org.apache.storm.tuple.Fields;import org.apache.storm.tuple.Tuple;import org.apache.storm.tuple.Values;@SuppressWarnings("serial")public class AgeJudementBlotextendsBaseBasicBolt{ @Override public void execute(Tupletuple,BasicOutputCollectorcollector){
范例:處理姓名大小寫的操作
范例:增加一個輸出到文件的Blot
這些定義的Blot一定要接收Spout傳來的數據,但是這些Blot之間沒有直接的聯系,所有的關系都必須通過程序動態配置。
編寫測試程序
Storm最大的好處是直接提供了本地的windows模擬測試,但是在配置過程里面需要配置這些bolts關系。范例:編寫測試程序
到此,關于“Storm中怎么定義Blots程序”的學習就結束了,希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習,快去試試吧!若想繼續學習更多相關知識,請繼續關注億速云網站,小編會繼續努力為大家帶來更多實用的文章!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。