谷歌聯手麻省理工:AI要同時處理多重信息

論文的聯合作者、麻省理工學院博士后Yusuf Aytar表示：“不管你是聽見了了引擎聲，還是看到了汽車，這都無所謂，因為你馬上能識別出這是同一概念。這些信息已經在你的大腦中被統一起來?！?/strong> 

這里的關鍵詞就是協調與統一。研究人員并沒有教會算法新的東西，而是創造了一種方式讓算法將一種感官與另一種感官連接統一起來。Aytar舉了一個例子來說明：當一輛自動駕駛汽車聽見救護車的聲音時，就能將其與救護車的樣子聯系在一起，即便因為視線受阻沒有看見救護車，也能提前做出避讓。

為了訓練這套AI系統，麻省理工學院的研究人員首先向神經網絡展示了一些帶有音頻的視頻文件，當神經網絡接收到這些視頻和音頻后，就會開始嘗試預測物體與聲音之間的聯系。然后，研究人員開始同一算法中輸入帶有文字說明的圖像，讓神經網絡將圖片中的物體與其文字說明聯系起來。以此類推，這樣就完成了視頻、聲音、圖像、文字間的相互轉換與識別。