Objectron數據集及3D目標檢測解決方案

發布時間：2021-12-06 15:46:29 來源：億速云閱讀：187 作者：柒染欄目：大數據

這篇文章將為大家詳細講解有關Objectron數據集及3D目標檢測解決方案，文章內容質量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。

機器學習(ML)的最新技術已經在許多計算機視覺任務上取得了SOTA的結果，但僅僅是通過在2D照片上訓練模型而已。

在這些成功的基礎上，提高模型對 3D 物體的理解力有很大的潛力來支持更廣泛的應用場景，如增強現實、機器人、自動化和圖像檢索。

今年早些時候，谷歌發布了 MediaPipe Objectron，一套為移動設備設計的實時 3D 目標檢測模型，這個模型是基于一個已標注的、真實世界的 3D 數據集，可以預測物體的 3D 邊界。

Objectron數據集及3D目標檢測解決方案

然而，理解3D 中的對象仍然是一項具有挑戰性的任務，因為與2D 任務(例如，ImageNet、 COCO 和 Open Images)相比，缺乏大型的真實世界數據集。

為了使研究團體能夠繼續推進3D 對象理解，迫切需要發布以對象為中心的視頻數據集，這些數據集能夠捕獲更多的對象的3D 結構，同時匹配用于許多視覺任務(例如，視頻或攝像機流)的數據格式，以幫助機器學習模型的訓練和基準測試。

近期谷歌發布了 Objectron 數據集，這是一個以對象為中心的短視頻剪輯數據集，從不同的角度捕捉了一組更大的普通對象。

每個視頻剪輯都伴隨著 AR 會話元數據，其中包括攝像機姿態和稀疏點云。數據還包含為每個對象手動注釋的3D 邊界，這些 bounding box 描述了對象的位置、方向和尺寸。

每個視頻剪輯都隨附有 AR 的元數據，其中包括相機姿勢和稀疏點云。數據還包含每個對象的手動注釋的 3D 邊界框，用于描述對象的位置，方向和尺寸。

該數據集包括15K 注釋視頻剪輯與超過4M 注釋圖像收集的地理多樣性樣本(涵蓋10個國家橫跨五大洲)。

3D 目標檢測解決方案

除了這個數據集，谷歌還分享了一個 3D 目標檢測解決方案，可以用于4類物體：鞋子、椅子、杯子和相機。

這些模型是在 MediaPipe 中發布的，MediaPipe 是谷歌的開源框架，用于跨平臺可定制的流媒體機器學習解決方案，它同時也支持機器學習解決方案，比如設備上的實時手勢、虹膜和身體姿態跟蹤。

與之前發布的 single-stage Objectron 模型相比，這些最新版本采用了兩級架構。

第一級使用 TensorFlow 目標檢測模型來尋找物體的 2D 裁剪，第二級使用圖像裁剪來估計三維bounding box，同時計算下一幀對象的二維裁剪，使得目標檢測器不需要運行每一幀。第二階段的三維 bounding box 預測器是以83 FPS在 Adreno 650 GPU 上運行。

3D 目標檢測的評估指標

有了真實的注釋，我們就可以使用 3D IoU（intersection over union）相似性統計來評估 3D 目標檢測模型的性能，這是計算機視覺任務常用的指標，衡量bounding box與ground truth的接近程度。

谷歌提出了一種計算一般的面向三維空間的精確 3D IoU 的算法。

首先使用 Sutherland-Hodgman Polygon clipping 算法計算兩個盒子面之間的交點，這類似于計算機圖形學的剔除技術（frustum culling），利用所有截斷多邊形的凸包計算相交的體積。最后，通過交集的體積和兩個盒子的并集的體積計算 IoU。

谷歌表示將隨數據集一起發布評估的源代碼。

數據格式

Objectron 數據集的技術細節，包括使用和教程，均可在數據集網站上獲得。這些數據集中的物體包括自行車、書籍、瓶子、相機、麥片盒、椅子、杯子、筆記本電腦和鞋子等，和數據集一起發布的具有以下內容:

1.視頻序列

2.帶注釋的標簽(目標的3D 邊界框)

3.AR 元數據 (如照相機姿態、點云和平面表面)

4.處理過的數據集: 混合版本的帶注釋的幀、tf.example 格式的圖像和 SequenceExample 格式的視頻

5.支持基于上面描述的度量評估的腳本

6.支持腳本將數據加載到 Tensorflow、Pytorch、Jax并且可視化數據集

除了數據集，谷歌還開放了數據管道來解析 Tensorflow、 PyTorch 和 Jax 框架中的數據集。還提供了 colab notebook 的實例。

通過發布這個 Objectron 數據集，谷歌希望能夠使研究團體推進三維物體幾何理解的極限。同時也希望促進新的研究和應用，如視圖合成，改進的 3D 表示和非監督式學習等。

關于Objectron數據集及3D目標檢測解決方案就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

向AI問一下細節

91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本