您好,登錄后才能下訂單哦!
這篇文章將為大家詳細講解有關如何編譯Atlas,小編覺得挺實用的,因此分享給大家做個參考,希望大家閱讀完這篇文章后可以有所收獲。
Atlas就是把元數據變成圖的工具。
http://atlas.apache.org/
Atlas是一組可擴展和可擴展的核心基礎治理服務,使企業能夠有效地滿足Hadoop中的合規性要求,并允許與整個企業數據生態系統集成。
Apache Atlas為組織提供開放的元數據管理和治理功能,以建立其數據資產的目錄,對這些資產進行分類和治理,并為數據科學家,分析師和數據治理團隊提供圍繞這些數據資產的協作功能。
那么如何安裝并使用Altas呢?
Atlas的安裝坑較多,本教程將詳細介紹Atlas2.1.0整個安裝過程,有任何問題歡迎關注 實時流式計算
后臺留言~
請前往官網 https://atlas.apache.org/#/Downloads
下載對應版本的源碼包 本文使用最新的 2.1.0版本
國內站點 速度要快一些
https://mirrors.tuna.tsinghua.edu.cn/apache/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz
比較難受的是 Atlas不提供安裝包 下載的是源碼包 需要自行編譯打包
注意,需要先安裝maven,因為這是使用maven開發的java web工程。maven3.6.3版本即可
一些下載地址
http://maven.apache.org/download.cgi
https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz
上傳到linux的/usr/local目錄
cd /usr/local
解壓文件
tar -zxvf apache-maven-3.6.3-bin.tar.gz
配置環境變量
vi /etc/profile
export MAVEN_HOME=/usr/local/apache-maven-3.6.3
export PATH=MAVEN_HOME/bin:PATH
刷新環境變量
source /etc/profile
檢查版本
mvn -v
配置好maven的環境變量 注意國內需要配置好maven的國內鏡像,一般使用阿里,華為,清華等鏡像 vi /usr/local/apache-maven-3.6.3/conf/settings.xml
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
把這個setting.xml 拷貝到 ~/.m2/
cp settings.xml .m2/
解壓源碼包
tar -zxvf apache-atlas-2.1.0-sources.tar.gz
將hbase zookeeper hive等依賴的版本修改成自己環境中一致的版本(或者兼容的版本)
父工程pom文件
<zookeeper.version>3.4.14</zookeeper.version>
<hbase.version>2.2.3</hbase.version>
<solr.version>7.7.2</solr.version>
atlas可以使用內嵌的hbase-solr作為底層索引存儲和搜索組件,也可以使用外置的hbase和solr 如果要使用內嵌的hbase-solr,則使用如下命令進行編譯打包 cd apache-atlas-sources-2.1.0/ export MAVEN_OPTS="-Xms2g -Xmx2g" mvn clean -DskipTests package -Pdist,embedded-hbase-solr
不用內置就這樣 mvn clean -DskipTests package -Pdist
改完路徑還會非常快的 耐心等待
atlas的webui子模塊中依賴了nodejs,會從nodejs的中央倉庫去下載相關依賴庫
編譯完成之后,會產生打包結果,所在位置是:源碼目錄中的新出現的distro/target目錄
注意,這里產出的有壓縮包也有解壓后的包。這里面的hook包,可以看到有各種平臺的hook包。
顧名思義,這就是鉤子包,也就是各個大數據框架會提供各種生命周期回調函數,并且將相關信息以數據方式提供出來。這些鉤子就可以去監聽和接收數據
如果沒有錯誤 并看到一排success就是成功了
關于“如何編譯Atlas”這篇文章就分享到這里了,希望以上內容可以對大家有一定的幫助,使各位可以學到更多知識,如果覺得文章不錯,請把它分享出去讓更多的人看到。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。