91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

修改hadoop腳本改變CLASSPATH中jar加載順序

發布時間:2020-06-23 15:35:47 來源:網絡 閱讀:3117 作者:rumeng_you 欄目:大數據

    先說一下環境,有兩個集群,一個新的一個舊的,打算把新的調試好然后把舊的關掉。

    新:Cloudera Express 5.6.0,CDH-5.6.0

    舊: Cloudera Express 5.0.5,CDH-5.0.5

    新集群搭建過程中發現一個問題,執行以下命令對lzo文件創建索引,在新集群中job無法提交到指定隊列,同樣的命令在舊集群中正常:

     hadoop jar hadoop-lzo.jar com.hadoop.compression.lzo.DistributedLzoIndexer  -D mapreduce.job.queuename=copy  /data/lzodata/


    兩個集群的配置區別在于,舊集群lzo的配置一個是手動的,新集群是用GPLEXTRAS的parcel包配置的。

用GPLEXTRAS配置的新集群默認吧lzo的jar包加載到hadoop  classpath路徑中了,導致的結果是DistributedLzoIndexer  提交不到正確的隊列。

    因為新版版的hadoop-lzo.jar中

    com.hadoop.compression.lzo.DistributedLzoIndexer 修改了獲取Configuration的方式

     Configuration conf = new Configuration();                                                  Job job = new Job(conf );   

    舊版本中為

    Job job = new Job(getConf());                                                              

    修改了源碼,然后重新上傳到提交job的服務器,只在提交job的時候起作用。                                                  

    修改腳本的位置,修改前請做好備份:

    /opt/cloudera/parcels/CDH-5.6.0-1.cdh6.6.0.p0.45/lib/hadoop/bin

    修改腳本中 export CLASSPATH=/opt/cloudera/userlib/hadoop-lzo.jar:$CLASSPATH


    上面的/opt/cloudera/userlib/hadoop-lzo.jar為想要加載的路徑



向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

渭南市| 铁岭市| 曲麻莱县| 岐山县| 营口市| 阆中市| 宜川县| 广汉市| 达孜县| 阜宁县| 绥芬河市| 平泉县| 新乐市| 碌曲县| 井冈山市| 凯里市| 辽源市| 西和县| 安吉县| 阳西县| 泰来县| 盘山县| 晋江市| 习水县| 那坡县| 梅州市| 东乌| 鄯善县| 金塔县| 万源市| 务川| 阆中市| 德清县| 兴海县| 红河县| 西平县| 临桂县| 盖州市| 资阳市| 阿荣旗| 墨竹工卡县|