#
/etc/sysconfig/network-scripts/ifcfg-eth0 service network restart 性能調優的王道是優化資源調度，或者給更多的資源
本期內容： 1、updateStateByKey解密 2、mapWithState解密背景：整個Spark Streaming是按照Bat
Prime_DSC_MentionCalcSpark系統簡介實現功能 : 根據條件(siteId, startTime, endTime, campaignId, folder)從HBase數據源中讀
==> 在內存中緩存數據 ---> 性能調優主要是將數據放入內存中操作 --->
看了下es-hadoop插件的源碼： 發現ES導入數據重試情況的發生，除了在es.batch.write.retry.policy參數默認開啟且es-hadoop插件向ES集群發送bulk寫入請求接受
一、RDD的依賴關系 RDD的依賴關系分為兩類：寬依賴和窄依賴。我們可以這樣認為： （1）窄依賴：每個parent RDD 的 partition 最多被 child RDD 的一個partitio
項目GitHub地址：https://github.com/heibaiying/BigData-Notes 前 言 大數據技術棧思維導圖 大數據常用軟件安裝指南 一、Had
Spark 中文分詞 一、導入需要的分詞包 import org.ansj.domain.Term import org.ansj.recognition.impl.StopRecognition i
spark-master 高可用測試： 集群介紹 [spark-m] 172.20.101.157 sparkname=master01 172.20.101.164 sparkname=maste
記載我的spark源碼閱讀火花知識點：1、seq:列表，適合存有序重復數據，進行快速插入/刪除元素等場景,Set是集合，適合存無序非重復數據，進行快速查找海量元素等場景memoryKeys
