Facebook <a class="innerlink" href="http://www.rjjo.cn/tags/arget="_blank">AI" target="_blank">AI 推出 Ego4D

　　近日，F(xiàn)acebook AI 宣布推出 Ego4D，這是一個(gè)雄心勃勃的長(zhǎng)期項(xiàng)目，為的就是解決以自我為中心的感知領(lǐng)域的研究挑戰(zhàn)。

　　研究者匯集了一個(gè)由 9 個(gè)國(guó)家的 13 所大學(xué)和實(shí)驗(yàn)室組成的聯(lián)盟，他們?cè)谝巴馐占?700 多名參與者的日常生活，超過(guò) 2,200 小時(shí)的第一人稱(chēng)視頻。

　　Ego4D 是一個(gè)具有多樣性的大規(guī)模的以第一人稱(chēng)視角為中心的數(shù)據(jù)集。它由來(lái)自全球 9 個(gè)不同國(guó)家 74 個(gè)地點(diǎn)的 855 名獨(dú)特參與者收集的 3025 小時(shí)視頻組成。該項(xiàng)目匯集了 88 名國(guó)際財(cái)團(tuán)的研究人員，以大幅提高公開(kāi)的以自我為中心的數(shù)據(jù)規(guī)模，使其在錄像時(shí)間方面比任何其他數(shù)據(jù)集都大 20 倍以上。

　　AI 也可以體驗(yàn)第一視覺(jué)

　　Facebook 首席研究科學(xué)家克里斯汀·格勞曼 （Kristen Grauman） 表示，今天的計(jì)算機(jī)視覺(jué)系統(tǒng)不像人類(lèi)那樣與第一人稱(chēng)和第三人稱(chēng)視角相關(guān)聯(lián)。

　　就像是，將計(jì)算機(jī)視覺(jué)系統(tǒng)綁在過(guò)山車(chē)上，即使它是根據(jù)從地面邊線(xiàn)顯示的數(shù)十萬(wàn)張過(guò)山車(chē)的圖像或視頻進(jìn)行訓(xùn)練的，但是它也不知道它在看什么。

　　為了讓人工智能系統(tǒng)能夠像我們一樣的方式與世界互動(dòng)，人工智能領(lǐng)域需要發(fā)展到一種全新的第一人稱(chēng)感知范式，“格勞曼在一份聲明中說(shuō)。”這意味著人工智能在實(shí)時(shí)運(yùn)動(dòng)、交互和多感官觀(guān)察的背景下，通過(guò)人眼理解日常生活活動(dòng)。“

　　Facebook AI 還開(kāi)發(fā)了五個(gè)以第一人稱(chēng)視覺(jué)體驗(yàn)為中心的基準(zhǔn)挑戰(zhàn)，這將推動(dòng)未來(lái) AI 助手向現(xiàn)實(shí)世界應(yīng)用的發(fā)展。

　　例如，”我把鑰匙放哪兒了？“”手機(jī)在哪里？“”有看到我的充電線(xiàn)嗎？“這種場(chǎng)景別提有多熟悉了，幾乎每天都會(huì)上場(chǎng)。

　　Ego4D 的第一個(gè)基準(zhǔn)挑戰(zhàn)是情景記憶（Episodic memory）。

　　關(guān)鍵就是什么時(shí)候發(fā)生的？AI 可以通過(guò)檢索過(guò)去以自我為中心的視頻中的關(guān)鍵時(shí)刻來(lái)回答自由形式的問(wèn)題并擴(kuò)展個(gè)人記憶。

　　你可以問(wèn) AI 助手各種各樣的問(wèn)題，例如：我把孩子最喜歡的泰迪熊放哪兒了？

　　下一步就是進(jìn)行預(yù)測(cè)：接下來(lái)可能會(huì)做什么？

　　人工智能可以理解佩戴者的行為會(huì)如何影響這個(gè)人未來(lái)的狀態(tài)，比如這個(gè)人可能會(huì)移動(dòng)到哪里，他們可能會(huì)觸摸什么物體，或者他們接下來(lái)可能會(huì)從事什么活動(dòng)。預(yù)測(cè)行動(dòng)不僅需要認(rèn)識(shí)到已經(jīng)發(fā)生的事情，還需要展望未來(lái)，預(yù)測(cè)下一步行動(dòng)。這樣AI系統(tǒng)就可以在當(dāng)下提供有用的指導(dǎo)。

　　例如，就在你想要再次準(zhǔn)備向鍋里加鹽時(shí)，你的人工智能助手會(huì)趕緊通知你”等等，您已經(jīng)加鹽了“

　　第三個(gè)挑戰(zhàn)基準(zhǔn)就是手-物之間的互動(dòng)（Hand and object manipulation）也是難點(diǎn)和關(guān)鍵的一步，因?yàn)锳I需要理解在做什么，如何做？

　　學(xué)習(xí)手如何與物體互動(dòng)對(duì)于A(yíng)I指導(dǎo)我們的日常生活至關(guān)重要。AI必須檢測(cè)第一人稱(chēng)的人-物交互，識(shí)別抓取，并檢測(cè)物體狀態(tài)變化。這種推動(dòng)力也受到機(jī)器人學(xué)習(xí)的推動(dòng)，機(jī)器人可以通過(guò)視頻中觀(guān)察到的人們的經(jīng)驗(yàn)間接獲得經(jīng)驗(yàn)。

　　因此，當(dāng)你在烹飪一份食譜時(shí)，AI 助手可以指導(dǎo)你需要哪些配料，需要先做什么，了解你已經(jīng)做了什么，指導(dǎo)你完成每一個(gè)關(guān)鍵步驟。

　　人類(lèi)可以用聲音來(lái)理解世界，未來(lái)的人工智能也要學(xué)會(huì)這種視聽(tīng)記錄（Audio-visual diarization）。

　　如果你正在上一堂重要的課，但因收到的信息而分了心，你可以問(wèn)AI：”教授把我們的試卷收上去之后，課堂討論的主要話(huà)題是什么？“

　　這個(gè)就是第四個(gè)挑戰(zhàn)基準(zhǔn) - 視聽(tīng)分類(lèi)

　　我正在與誰(shuí)互動(dòng)，如何互動(dòng)？例如”如何在嘈雜的地方更好地聽(tīng)到別人說(shuō)話(huà)的聲音“

　　社會(huì)互動(dòng)（Social interaction）是 Ego4D 的最后一個(gè)方向。

　　除了識(shí)別視覺(jué)和聲音提示外，理解社交互動(dòng)是智能 AI 助手的核心。一個(gè)社交智能的 AI 會(huì)理解誰(shuí)在和誰(shuí)說(shuō)話(huà)，誰(shuí)在關(guān)注誰(shuí)。

　　所以，下次參加晚宴時(shí)，即使再嘈雜，AI 助手可以幫助你專(zhuān)注于桌子對(duì)面和你說(shuō)話(huà)的人在說(shuō)什么。

　　以上這些基準(zhǔn)挑戰(zhàn)都是以第一人稱(chēng)視覺(jué)為中心的人工智能的基本構(gòu)建模塊，這將讓 AI 不僅可以在現(xiàn)實(shí)世界中理解和互動(dòng)，還可以在元宇宙中進(jìn)行理解和交互，構(gòu)成更有用的 AI 助手和其他未來(lái)創(chuàng)新的基礎(chǔ)。

　　解開(kāi)真實(shí)數(shù)據(jù)集

　　基準(zhǔn)和數(shù)據(jù)集在歷史上被證明是人工智能行業(yè)創(chuàng)新的關(guān)鍵催化劑。畢竟，今天的 CV 系統(tǒng)幾乎可以識(shí)別圖像中的任何對(duì)象，它是建立在數(shù)據(jù)集和基準(zhǔn)（例如 MNIST、COCO 和 ImageNet）之上的，它們?yōu)檠芯咳藛T提供了一個(gè)用于研究真實(shí)世界圖像的試驗(yàn)臺(tái)。

　　但是以自我為中心的感知是一個(gè)全新的領(lǐng)域。我們不能使用昨天的工具來(lái)構(gòu)建明天的創(chuàng)新。Ego4D 前所未有的規(guī)模和多樣性對(duì)于引入下一代智能 AI 系統(tǒng)至關(guān)重要。

　　為了構(gòu)建這個(gè)數(shù)據(jù)集，每所合作大學(xué)的團(tuán)隊(duì)向研究者分發(fā)了頭戴式攝像頭和其他可穿戴傳感器，以便他們能夠捕捉第一人稱(chēng)、無(wú)腳本視頻。日常生活。

　　參與者從日常場(chǎng)景中錄制大約8分鐘的視頻片段，例如雜貨店購(gòu)物、烹飪和邊玩游戲邊交談以及與家人和朋友一起參與其他集體活動(dòng)。

　　Ego4D 捕捉了佩戴攝像機(jī)的人在特定環(huán)境中選擇注視的內(nèi)容，用手或是面前的物體做了什么，以及他們?nèi)绾我缘谝蝗朔Q(chēng)視覺(jué)與其他人進(jìn)行互動(dòng)。

　　與現(xiàn)有數(shù)據(jù)集相比，Ego4D 數(shù)據(jù)集提供了更大的場(chǎng)景、人物和活動(dòng)的多樣性，這增加了針對(duì)不同背景、種族、職業(yè)和年齡的人訓(xùn)練的模型的適用性。

　　Ego4D 及以后的下一步是什么？

　　Facebook AI 試圖通過(guò) Ego4D 項(xiàng)目打造一條全新的道路，以構(gòu)建更智能、更具交互性和靈活性的計(jì)算機(jī)視覺(jué)系統(tǒng)。

　　隨著人工智能對(duì)人們正常生活方式有了更深入的理解，它可以開(kāi)始以前所未有的方式對(duì)交互體驗(yàn)進(jìn)行情境化和個(gè)性化。

　　Grauman表示：”Ego4D 使人工智能有可能獲得根植于物理和社會(huì)世界的知識(shí)，這些知識(shí)是通過(guò)生活在其中的人的第一人稱(chēng)視角收集的。“”由此開(kāi)始，人工智能不僅會(huì)更好地了解周?chē)氖澜纾幸惶焖赡苓€會(huì)實(shí)現(xiàn)個(gè)性化——它能知道你最喜歡的咖啡杯，或者為你的下一次家庭旅行指引路線(xiàn)。“

　　有了 Ego4D 的基準(zhǔn)支持，配合上在全新數(shù)據(jù)集中的訓(xùn)練，AI 助手有可能以非常獨(dú)特和有意義的方式提供很多的價(jià)值，例如，幫助回憶起最近與同事交談中的關(guān)鍵信息，或者指導(dǎo)制作新的晚餐食譜，新的宜家家居等。

　　Facebook 表示，從這一系列工作中獲得的價(jià)值將推動(dòng)我們走向未來(lái)的現(xiàn)實(shí)。

　　瑪麗皇后大學(xué)的人工智能研究員Mike Cook認(rèn)為，從積極的角度來(lái)說(shuō)，至少就目前而言，這是一個(gè)非常棒的大型數(shù)據(jù)集。

　　但，這實(shí)際上并沒(méi)有解決人工智能中的一個(gè)緊迫挑戰(zhàn)或問(wèn)題……除非你是一家想要銷(xiāo)售可穿戴相機(jī)的科技公司。它確實(shí)告訴你更多關(guān)于Facebook的未來(lái)計(jì)劃，但是……他們向它注入資金并不意味著它一定會(huì)變得重要。