您好,登錄后才能下訂單哦!
今天就跟大家聊聊有關Google的Objectron怎樣使用AI跟蹤2D視頻中的3D對象,可能很多人都不太了解,為了讓大家更加了解,小編給大家總結了以下內容,希望大家根據這篇文章可以有所收獲。
伴隨著2020年TensorFlow開發者峰會的拉開序幕,Google今天發布了一條名為Objectron的pipline,該pipline可在2D圖像中發現物體并通過AI模型估算其姿勢和大小。該公司表示,這對機器人技術,自動駕駛汽車,圖像檢索和增強現實-例如,它可以幫助工廠車間的機器人實時避免障礙。
跟蹤3D對象是一個棘手的前景,特別是在處理有限的計算資源(例如智能手機片上系統)時,由于缺乏數據和多樣性,當可用的唯一圖像(通常是視頻)為2D時計算對象的外觀和形狀會變得更加困難。
然后,由Objectron支持的Google團隊開發了一個工具集,該工具集允許注釋者使用分屏視圖顯示對象的3D邊界框(即矩形邊框),以顯示2D視頻幀。3D邊界框在點云的上方疊加在其上方,注釋器在3D視圖中繪制了3D邊界框,并通過查看2D視頻幀中的投影來驗證其位置,對于靜態對象,他們只需要在單個幀中注釋目標對象即可。使用AR會話數據中的地面真實攝像機姿勢信息,將對象的位置定位到所有幀。
為了補充現實世界的數據以提高AI模型預測的準確性,該團隊開發了一個引擎,將虛擬對象放置到包含AR會話數據的場景中,從而可以使用相機姿態,檢測平面并進行估計。照明以生成與場景匹配的物理上可能的位置,從而生成高質量的合成數據,其渲染對象尊重場景的幾何形狀并無縫適合真實背景。在驗證測試中,合成數據的準確性提高了約10% 。
更好的是,該團隊表示,當前版本的Objectron型號足夠輕巧,可以在旗艦移動設備上實時運行.LG V60 ThinQ,三星Galaxy S20 +和Sony Xperia 11等手機均配備了Adreno 650移動圖形芯片,?每秒能夠處理約26幀。
???
?Objectron在MediaPipe中可用,MediaPipe是用于構建由快速推理和媒體處理(例如視頻解碼)組成的跨平臺AI管道的框架。可提供經過訓練可識別鞋子和椅子的模型以及端到端演示應用程序。
該團隊表示,未來計劃與研究和開發社區共享其他解決方案,以刺激新的用例,應用程序和研究工作,此外,它還打算將Objectron模型擴展到更多類別的對象并進一步改進其對象設備上的性能。
看完上述內容,你們對Google的Objectron怎樣使用AI跟蹤2D視頻中的3D對象有進一步的了解嗎?如果還想了解更多知識或者相關內容,請關注億速云行業資訊頻道,感謝大家的支持。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。