「AI新青年講座」將邀請世界頂尖AI研究機構和大學的科研新青年,主講他們在計算機視覺、機器學習等人工智能領域的最新重要研究成果。
AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑,將可以幫助大家增進對人工智能前沿研究的理解,相應領域的專業知識也能夠得以積累加深。同時,通過與AI新青年的直接交流,大家在AI學習和應用AI的過程中遇到的問題,也能夠盡快解決。
有興趣分享學術成果的朋友,可以與智東西公開課教研團隊進行郵件(class@zhidx.com)聯系。
雖然已經有大量從單個圖像進行三維重建的工作,并取得了突破性的進展,但是受制于數據集,重建的三維場景基本上是靜態的,我們無法與之交互,比如說打開一個抽屜、一扇門。
為了重建可交互的三維場景,密西根大學在讀博士錢圣軼通過研究互聯網視頻中重建可交互的三維場景,提出了無需深度相機的可交互三維對象關節檢測任務。該任務是通過提取視頻中可活動對象的關節,例如門的轉軸、抽屜的鉸鏈等,并使用旋轉或平移的三維平面來表示它們。最后使用這些數據在自制的、具有關鍵幀注釋的互聯網數據集上進行訓練,提出一個自頂向下的可交互物體重建網絡3DADN。
3DADN會生成可交互物體的運動類型、運動所在位置周圍的邊界框、旋轉或平移軸的二維位置以及鉸接平面的三維位置,隨后對這些信息進行處理,以在整個視頻中找到合理一致的解釋。
錢圣軼博士在其自制的互聯網視頻數據集和Charades數據集上評估了該方法,結果表明,3DADN能夠從互聯網視頻中檢測和重建可交互的物體,模型的表現明顯優于基線。
7月29日上午10點,「AI新青年講座」第141講邀請到密西根大學Fouhey AI Lab在讀博士錢圣軼參與,主講《從互聯網視頻中重建可交互的三維場景》。
講 者
錢圣軼,密西根大學Fouhey AI Lab在讀博士,導師為 David Fouhey,主要研究興趣是三維計算機視覺,包括單張和多張稀疏視角圖片的三維重建、從圖片和視頻中重建可交互的三維場景等。曾在Facebook AI Research實習。
主 題
從互聯網視頻中重建可交互的三維場景
提 綱
1、單目三維重建局限性分析
2、互聯網視頻中物體可活動關節檢測
3、基于關鍵幀的可交互物體重建網絡3DADN
4、在智能機器人交互上的應用
直播信息
直播時間:7月29日10:00
直播地點:智東西公開課知識店鋪
成 果
3DADN:《Understanding 3D Object Articulation in Internet Videos》
論文鏈接:https://arxiv.org/pdf/2203.16531.pdf
開源代碼:https://github.com/JasonQSY/Articulation3D