人類(lèi)天生地利用多模態(tài)信息（視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、嗅覺(jué)等）來(lái)感知和理解世界。其中，視覺(jué)和語(yǔ)言的多模態(tài)感知對(duì)人類(lèi)而言尤為重要，且它們二者之間能起到互補(bǔ)和增強(qiáng)的作用。
比如當(dāng)你在路上遠(yuǎn)遠(yuǎn)地看到一位朋友和你打招呼，他嘴里同時(shí)在說(shuō)著什么，雖然你聽(tīng)不清楚，但也能從對(duì)方的笑臉和友好的招手姿勢(shì)，大致推斷出他說(shuō)的是一句問(wèn)候語(yǔ)(“嗨，Hello，好久不見(jiàn)……”)，這就說(shuō)明視覺(jué)信號(hào)可以很好地輔助語(yǔ)言理解。語(yǔ)言信號(hào)同樣有助于視覺(jué)理解，比如糖和鹽的外觀非常相似，為了在做飯的時(shí)候快速在視覺(jué)上區(qū)分出它們，語(yǔ)言標(biāo)簽是個(gè)好幫手。
過(guò)往人們對(duì)于人工智能的技術(shù)研究大多集中于單模態(tài)領(lǐng)域，并在特定任務(wù)上取得了不錯(cuò)的性能，比如圖像識(shí)別和語(yǔ)音識(shí)別。然而現(xiàn)實(shí)世界中的很多問(wèn)題往往都是涉及多模態(tài)的，這就要求智能體具備和人類(lèi)一樣處理視覺(jué)和語(yǔ)言等多模態(tài)信息的能力。例如，自動(dòng)駕駛汽車(chē)應(yīng)該做到能夠識(shí)別出交通信號(hào)和道路狀況(視覺(jué))、處理人類(lèi)發(fā)出的命令(語(yǔ)言)。因此，多模態(tài)研究成為了近些年AI領(lǐng)域的研究重點(diǎn)，尤其是視覺(jué)-語(yǔ)言聯(lián)合模態(tài)。
然而，當(dāng)前研究人員所構(gòu)建的大多數(shù)視覺(jué)-語(yǔ)言模型都只是在兩個(gè)獨(dú)立的信息流中分別處理視覺(jué)和語(yǔ)言信號(hào)，并僅在最后階段把兩種信號(hào)的結(jié)果進(jìn)行融合，而實(shí)際上，人類(lèi)對(duì)多模態(tài)信息的處理能力要機(jī)器高明很多。
例如，2020年的一項(xiàng)研究[1]表明，在只看得到口型而聽(tīng)不到聲音的條件下進(jìn)行唇讀時(shí)，人類(lèi)大腦的聽(tīng)覺(jué)區(qū)域可以通過(guò)接收來(lái)自視覺(jué)皮層的信號(hào)，幫助人類(lèi)更好地理解唇讀。還有一些行為調(diào)查、神經(jīng)成像和神經(jīng)解剖學(xué)等研究結(jié)果表明，在感知多模態(tài)信號(hào)時(shí)，人類(lèi)的大腦中存在一個(gè)神秘的“共享世界”，充當(dāng)著理解融合信息的中央處理器的角色。
在本文要介紹的這項(xiàng)工作中，研究人員受到人類(lèi)大腦“共享世界”的啟發(fā)，深入地研究了視覺(jué)-語(yǔ)言表示的“共享世界”，并提出了一個(gè)新的挑戰(zhàn)——用無(wú)監(jiān)督的視覺(jué)-語(yǔ)言語(yǔ)法歸納來(lái)同時(shí)提取視覺(jué)和語(yǔ)言的共享層次結(jié)構(gòu)。本研究提出了一種名為CLIORA的新模型，該模型基于兩種模態(tài)的結(jié)構(gòu)化輸出，在很多任務(wù)上都取得了很好的效果，并朝著對(duì)多模態(tài)信息的語(yǔ)義理解邁出了明確一步。
目前這篇工作的研究論文已被人工智能頂級(jí)學(xué)術(shù)會(huì)議ICLR 2022錄取為Oral，論文一作是魯汶大學(xué)在讀博士生萬(wàn)博，通訊作者是北京通用人工智能研究院前沿研究中心研究員韓文娟。
論文地址：https://openreview.net/pdf?id=N0n_QyQ5lBF
1 研究啟發(fā)——借鑒“對(duì)比學(xué)習(xí)”的策略
這篇論文具體做了一項(xiàng)什么樣的研究呢？我們可以從一個(gè)“貓抓老鼠”的例子入手。
如下圖所示，是一個(gè)“貓抓老鼠”的場(chǎng)景，用英文句子來(lái)描述這張圖片，可以是“A cat is catching a mouse on grass”，也可以?xún)H僅是“Cat catches mouse”，為了簡(jiǎn)化說(shuō)明，我們忽略句子時(shí)態(tài)上的考慮，采用后面這個(gè)描述。
如下圖所示，對(duì)人類(lèi)而言，我們可以輕易地識(shí)別出紅色描邊區(qū)域?qū)?yīng)著單詞“Cat”，同時(shí)也對(duì)應(yīng)著短語(yǔ)“Cat catches”，藍(lán)色描邊圖像區(qū)域?qū)?yīng)著單詞“mouse”。
但是人類(lèi)的這種“輕易”對(duì)機(jī)器而言卻是很難的，機(jī)器要想學(xué)會(huì)把圖像中的特定區(qū)域與相應(yīng)的文本語(yǔ)言進(jìn)行匹配，則需要花費(fèi)一番功夫。
如果讓傳統(tǒng)的AI模型來(lái)學(xué)習(xí)，則需要使用“有監(jiān)督學(xué)習(xí)”的方式。首先要在輸入環(huán)節(jié)人工對(duì)這張圖片做盡可能“細(xì)粒度”的標(biāo)注。所謂“細(xì)粒度”就是說(shuō)要在圖片中盡可能給句子“cat catches mouse”的每個(gè)成分都打上標(biāo)簽，即用若干個(gè)矩形的“邊界框”把圖片中的“cat”、“cat catches”和“mouse”分別框起來(lái)，并加上注釋。
這種“有監(jiān)督學(xué)習(xí)”的方式確實(shí)可以讓AI模型取得不錯(cuò)的學(xué)習(xí)效果，但是通過(guò)這種方式，AI只能學(xué)到比較死板的“標(biāo)簽對(duì)應(yīng)”關(guān)系，而不能真正學(xué)到語(yǔ)義理解。另外這種“細(xì)粒度”的標(biāo)注數(shù)據(jù)需要大量的人工和時(shí)間成本，是一種“越人工越智能”的方法。
而本研究提出的AI模型并沒(méi)有采用這種“有監(jiān)督學(xué)習(xí)”方式，也不需要“細(xì)粒度”的標(biāo)注數(shù)據(jù)，而是借鑒了一種無(wú)監(jiān)督的“對(duì)比學(xué)習(xí)”的策略。
還是以這個(gè)“貓抓老鼠”的圖片為例，如下圖所示，當(dāng)圖片中的“老鼠”消失時(shí)，句子“Cat catches mouse”中的“mouse”也消失了，變?yōu)榱恕癱at catches ”。這時(shí)AI就有可能會(huì)在“想”：“為什么圖片中的老鼠和文本中的單詞“mouse”一起消失了呢？這是不是意味著‘mouse’就對(duì)應(yīng)圖片中的老鼠？”。當(dāng)然，目前的AI還遠(yuǎn)遠(yuǎn)不會(huì)思考，這里只是做一種擬人化假設(shè)。
同理，當(dāng)圖片中的“貓”消失時(shí)，句子“Cat catches mouse”中的“Cat catches”也消失了，只剩下了“mouse”，這時(shí)AI或許至少學(xué)到 “Cat catches”對(duì)應(yīng)的是貓。
可以看出，上述的學(xué)習(xí)過(guò)程通過(guò)“對(duì)比學(xué)習(xí)”的方式，將視覺(jué)和語(yǔ)言結(jié)合到了一起，同時(shí)也學(xué)到了一些語(yǔ)義理解。這種暗含“對(duì)比學(xué)習(xí)”的策略給本文的研究帶來(lái)了一些啟發(fā)。當(dāng)然，由于現(xiàn)實(shí)圖片和文本信息更加復(fù)雜，本研究中實(shí)際運(yùn)用的算法要遠(yuǎn)遠(yuǎn)比上述學(xué)習(xí)過(guò)程更復(fù)雜，也面臨著很大的挑戰(zhàn)。
2 提出新任務(wù)——無(wú)監(jiān)督視覺(jué)-語(yǔ)言語(yǔ)法歸納
類(lèi)似上述用“對(duì)比學(xué)習(xí)”的方式學(xué)習(xí)“貓”和“老鼠”，本文提出了一種新的任務(wù)——無(wú)監(jiān)督的視覺(jué)-語(yǔ)言語(yǔ)法歸納。在介紹這項(xiàng)新任務(wù)之前，我們首先提一下語(yǔ)法歸納的概念。
語(yǔ)法歸納是自然語(yǔ)言處理中的一項(xiàng)基本任務(wù)，旨在以短語(yǔ)結(jié)構(gòu)樹(shù)的形式捕獲句子中的句法信息。如下圖（a）所示，是英文句子“A man pushes a boy on a zip-line”的語(yǔ)法歸納圖?？梢钥闯觯@個(gè)英文句子的主語(yǔ)（A man）、謂語(yǔ)（pushes）、賓語(yǔ)（a boy）、狀語(yǔ)（on a zip-line）等不同的組成部分被短語(yǔ)結(jié)構(gòu)樹(shù)進(jìn)行了歸納解析。
圖（a）：自然語(yǔ)言的常規(guī)語(yǔ)法歸納圖示。
而本研究要挑戰(zhàn)的這個(gè)新任務(wù)要做的就是——在僅僅給定輸入為句子“A man pushes a boy on a zip-line”（沒(méi)有給定短語(yǔ)）和下圖圖像（沒(méi)有細(xì)粒度標(biāo)注）的情況下，利用無(wú)監(jiān)督的視覺(jué)-語(yǔ)言語(yǔ)法歸納，提取視覺(jué)和語(yǔ)言的共享層次結(jié)構(gòu)，并給“該句子的所有短語(yǔ)和該圖像的對(duì)應(yīng)解析”的輸出。
也就是想要下圖這樣一個(gè)結(jié)果，圖中男人、推、男”等區(qū)域和“A man”，“pushes”，“a boy”等短語(yǔ)成分產(chǎn)生了很好的對(duì)應(yīng)解析。這其實(shí)就把語(yǔ)言和視覺(jué)圖像給跨模態(tài)地結(jié)合在了一起，并產(chǎn)生了一個(gè)“對(duì)齊”。
這個(gè)歸納對(duì)齊的過(guò)程叫做無(wú)監(jiān)督的視覺(jué)-語(yǔ)言語(yǔ)法歸納，完整的過(guò)程如下圖（b）所示。
圖（b）：視覺(jué)-語(yǔ)言語(yǔ)法歸納圖示
這項(xiàng)無(wú)監(jiān)督的視覺(jué)-語(yǔ)言語(yǔ)法歸納任務(wù)其實(shí)面臨著兩大挑戰(zhàn)：1、上下文有關(guān)的語(yǔ)義表征學(xué)習(xí)；2、分層結(jié)構(gòu)所有層級(jí)的細(xì)粒度視覺(jué)-語(yǔ)言對(duì)齊。本研究提出的模型嘗試解決這兩大挑戰(zhàn)。
3 CLIORA模型介紹
本研究提出的新模型就是Contrastive Language-Image inside-Outside Recursive Autoencoder，簡(jiǎn)稱(chēng)CLIORA。它借鑒了DIORA模型[2]在上下文相關(guān)的語(yǔ)言語(yǔ)法歸納方面取得的成功，并在多模態(tài)場(chǎng)景中進(jìn)行了擴(kuò)展。
CLIORA模型整個(gè)工作流程如下圖所示，一共包含視覺(jué)/文本特征提取、特征級(jí)融合、結(jié)構(gòu)構(gòu)建、置信層融合和損失函數(shù)5個(gè)模塊。整個(gè)融合過(guò)程可分為特征層（組合不同模式的特征向量）融合和置信層（組合分?jǐn)?shù)）融合兩步。
CLIORA模型示意圖
具體來(lái)說(shuō)，CLIORA模型首先從視覺(jué)和語(yǔ)言?xún)煞N模態(tài)中提取特征，然后結(jié)合inside-outside算法來(lái)計(jì)算句子成分（constituents）并構(gòu)建短語(yǔ)句法樹(shù)。在這個(gè)階段，CLIORA模型通過(guò)遞歸地讓語(yǔ)言跨度嵌入關(guān)注視覺(jué)特征，將視覺(jué)和語(yǔ)言這兩種模態(tài)結(jié)合起來(lái)（如下圖所示），這種結(jié)合過(guò)程就是特征層融合。這種融合能讓文本短語(yǔ)關(guān)聯(lián)到視覺(jué)語(yǔ)境，接著高效地利用視覺(jué)語(yǔ)境以及文本語(yǔ)義作為整體的語(yǔ)境信息，從而解決了第一個(gè)挑戰(zhàn)。
在此基礎(chǔ)上，研究人員計(jì)算每個(gè)組成部分和圖像區(qū)域之間的匹配分?jǐn)?shù)。該分?jǐn)?shù)可以用于促進(jìn)跨模態(tài)細(xì)粒度對(duì)應(yīng)，并通過(guò)對(duì)比學(xué)習(xí)策略利用圖像字幕對(duì)的監(jiān)控信號(hào)。在這里，CLIORA模型通過(guò)加權(quán)跨模式匹配分?jǐn)?shù)和歸納語(yǔ)法給出的成分分?jǐn)?shù)，進(jìn)一步融合了語(yǔ)言視覺(jué)模態(tài)，這個(gè)過(guò)程稱(chēng)之為置信層（score-level）融合，它確保了樹(shù)結(jié)構(gòu)的每一層都有細(xì)粒度的對(duì)齊，從而解決了第二個(gè)挑戰(zhàn)。
4 實(shí)驗(yàn)結(jié)果
經(jīng)過(guò)大量研究實(shí)驗(yàn)表明，CLIORA模型取得了很好的成功：
在新定義的無(wú)監(jiān)督視覺(jué)-語(yǔ)言語(yǔ)法歸納任務(wù)上取得了很好的效果；
在獨(dú)立的語(yǔ)言（語(yǔ)法歸納）和視覺(jué)任務(wù)上也分別取得了當(dāng)前最佳的效果。
什么意思呢？首先舉例來(lái)說(shuō)明第一點(diǎn)成功。下圖是利用CLIORA模型對(duì)該圖像和句子“A woman walk in the sand as she carries her shoes.”的一個(gè)無(wú)監(jiān)督歸納對(duì)齊，可以看到，效果很好。
下圖同樣也是利用CLIORA模型對(duì)該圖像和句子“A boy in red sweatshirt pretends to drive a tractor.”的一個(gè)無(wú)監(jiān)督歸納對(duì)齊，效果同樣很好。
通過(guò)以上兩個(gè)例子以及大量未展示的其他實(shí)驗(yàn)數(shù)據(jù)表明，CLIORA模型確實(shí)取得了第一點(diǎn)成功，是在無(wú)監(jiān)督的視覺(jué)-語(yǔ)言歸納任務(wù)取得的跨模態(tài)成功。而第二點(diǎn)的成功則是說(shuō)，利用CLIORA模型也可以在獨(dú)立的語(yǔ)言（語(yǔ)法歸納）和獨(dú)立的視覺(jué)（圖像-短語(yǔ)匹配）任務(wù)上也分別取得成功，而且要比之前這兩個(gè)任務(wù)上的其他模型性能都要好。
打個(gè)比方說(shuō)，這就好像有個(gè)高中生提前學(xué)習(xí)了大學(xué)的“物理化學(xué)”課程，結(jié)果他不僅“物理化學(xué)”這門(mén)課學(xué)的很好，而且在高中單獨(dú)的“物理”和“化學(xué)”兩門(mén)課也很厲害，在考試中都取得了兩門(mén)課的學(xué)校第一。
圖：獨(dú)立的語(yǔ)法歸納任務(wù)
圖：獨(dú)立的有監(jiān)督的圖像-短語(yǔ)視覺(jué)匹配任務(wù)
5 總結(jié)和展望
本研究提出了一項(xiàng)具有挑戰(zhàn)性的“無(wú)監(jiān)督的視覺(jué)-語(yǔ)言語(yǔ)法歸納”新任務(wù)，并提出了CLIORA模型，探索了語(yǔ)言和圖像的“共享”結(jié)構(gòu)性表示。在實(shí)現(xiàn)對(duì)語(yǔ)言有一個(gè)結(jié)構(gòu)性表示的同時(shí)，對(duì)應(yīng)圖像也構(gòu)建一個(gè)結(jié)構(gòu)性表示，從而賦予語(yǔ)言和文本共享的一致性語(yǔ)義表示，實(shí)現(xiàn)統(tǒng)一的語(yǔ)言和視覺(jué)跨模態(tài)理解。
在未來(lái)，一個(gè)可能的研究方向是接著在視覺(jué)-語(yǔ)言“共享”結(jié)構(gòu)性表示之外，額外定義語(yǔ)言和視覺(jué)各自獨(dú)立的結(jié)構(gòu)性表示，從而在整體上構(gòu)建完整的視覺(jué)語(yǔ)言“聯(lián)合”理解框架，這種視覺(jué)語(yǔ)言聯(lián)合理解框架可以顯著提升AI對(duì)圖片的理解，增加了可解釋性。
那么，為視覺(jué)-語(yǔ)言語(yǔ)法歸納建模共享結(jié)構(gòu)的最佳方法是什么？
一個(gè)有希望的擴(kuò)展可能是探索細(xì)粒度的視覺(jué)結(jié)構(gòu)來(lái)規(guī)范共享的視覺(jué)-語(yǔ)言語(yǔ)法，本文提出的模型方法還需在視覺(jué)層面上進(jìn)一步探索。但是值得注意的是，視覺(jué)圖像本身還包含豐富的空間結(jié)構(gòu)，利用這種結(jié)構(gòu)也可能有利于產(chǎn)生更有意義的共享結(jié)構(gòu)。
回到本文研究的動(dòng)機(jī)，人類(lèi)如何在這樣的“共享語(yǔ)義空間”中建模和處理多模態(tài)信息呢？本研究為語(yǔ)法歸納和短語(yǔ)落地提供了一個(gè)可能的答案。盡管如此，在人類(lèi)認(rèn)知計(jì)算模型中使用聯(lián)結(jié)主義和符號(hào)主義表示之間的爭(zhēng)論從未停止過(guò)。這個(gè)謎團(tuán)也為人們提供了一個(gè)廣闊的空間，來(lái)探索建模人類(lèi)多模態(tài)“共享世界”的其他潛在解釋。
參考文獻(xiàn)
[1] Mathieu Bourguignon, Martijn Baart, Efthymia C Kapnoula, andNicola Molinaro. Lip-reading enables the brain to synthesize auditory featuresof unknown silent speech. Journalof Neuroscience, 40(5):1053–1065, 2020.
[2] Andrew Drozdov, Pat Verga, Mohit Yadav, Mohit Iyyer, and AndrewMcCallum. Unsupervised latent tree induction with deep inside-outside recursive autoencoders. In Proceedings of the Annual Conference of the North American Chapterof the Association for Computational Linguistics(NAACL), 2019.
[3]Peter Anderson, Xiaodong He, Chris Buehler, Damien Teney, MarkJohnson, Stephen Gould, and Lei Zhang. Bottom-up and top-down attention for image captioning and visualquestion answering. In Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 6077–6086, 2018.
[4]James K Baker. Trainable grammars for speech recognition. The Journal of the Acoustical Society of America, 65(S1):S132–S132, 1979.
[5]Gemma A Calvert, Edward T Bullmore, Michael J Brammer, RuthCampbell, Steven CR Williams, Philip K McGuire, Peter WR Woodruff, Susan D Iversen, and Anthony S David.Activation of auditory cortex during silent lipreading. science,276(5312):593–596, 1997.
[6]Ruth Campbell. The processing of audio-visual speech: empirical and neuralbases. Philosophical Transactions of the Royal Society B: Biological Sciences, 363(1493):1001–1010, 2008.
[7]Kan Chen, Jiyang Gao, and Ram Nevatia. Knowledge aided consistency forweakly supervised phrase grounding. In Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018.
[8]Noam Chomsky. On certain formal properties of grammars. Information and control, 2(2):137–167,1959.
[9]Andrew Drozdov, Subendhu Rongali, Yi-Pei Chen, Tim O’Gorman, Mohit Iyyer,and Andrew McCallum. Unsupervised parsing with s-diora: Single tree encodingfor deep inside-outside recursive autoencoders. In Proceedings of the Conference on Empirical Methods in NaturalLanguage
Processing (EMNLP), 2020.
[10]Tanmay Gupta, Arash Vahdat, Gal Chechik, Xiaodong Yang, JanKautz, and Derek Hoiem. Contrastive learning for weakly supervised phrasegrounding. In EuropeanConference on Computer Vision (ECCV), 2020.
[11]Wenjuan Han, Yong Jiang, and Kewei Tu. Dependency grammar induction withneural lexicalization and big training data. In Proceedings of the 2017 Conference on Empirical Methods in NaturalLanguage Processing, pp.1683–1688, 2017.
[12]Kaiming He, Georgia Gkioxari, Piotr Dollar, and Ross Girshick. Mask r-cnn.In ′ Proceedings of the IEEEInternational Conference on Computer Vision (ICCV), 2017.
[13]Yining Hong, Qing Li, Song-Chun Zhu, and Siyuan Huang. Vlgrammar: Groundedgrammar induction of vision and language. Proceedings of the IEEE International Conference on Computer Vision(ICCV), 2021.
[14]John E Hopcroft, Rajeev Motwani, and Jeffrey D Ullman. Introduction toautomata theory, languages, and computation. Acm Sigact News,32(1):60–65, 2001.
[15]Ashish Jaiswal, Ashwin Ramesh Babu, Mohammad Zaki Zadeh, DebapriyaBanerjee, and Fillia Makedon. A survey on contrastive self-supervised learning. Technologies, 9, 2021.
[16]Tadao Kasami. An efficient recognition and syntax-analysis algorithm forcontext-free languages. CoordinatedScience Laboratory Report no. R-257, 1966.
[17]Anne Keitel, Joachim Gross, and Christoph Kayser. Shared andmodality-specific brain regions that mediate auditory and visual wordcomprehension. ELife, 9:e56972, 2020.
[18]Yoon Kim, Chris Dyer, and Alexander Rush. Compound probabilisticcontext-free grammars for grammar induction. In Proceedingsof the Annual Meeting of the Association for Computational Linguistics (ACL), 2019a.
[19]Yoon Kim, Alexander M. Rush, Lei Yu, Adhiguna Kuncoro, Chris Dyer, andGabor Melis. Unsupervised recurrent neural network grammars. In Jill Burstein, Christy Doran,and Thamar Solorio (eds.), Proceedings of theAnnual Conference of the North American Chapter of the Association for Computational Linguistics (NAACL), pp. 1105–1117. Association for Computational Linguistics, 2019b.
[20]Nikita Kitaev and Dan Klein. Constituency parsing with aself-attentive encoder. In Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), pp. 2676–2686,
2018.
[21]Noriyuki Kojima, Hadar Averbuch-Elor, Alexander Rush, and Yoav Artzi. What is learned in visually grounded neural syntax acquisition. In Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), pp. 2615–2635, 2020.
[22]Adhiguna Kuncoro, Lingpeng Kong, Daniel Fried, Dani Yogatama, Laura Rimell, Chris Dyer, and Phil Blunsom. Syntactic structure distillation pretraining for bidirectional encoders. Transactions of the Association for Computational Linguistics (TACL), 8:776–794, 2020.
[23]John D Lafferty. A derivation of the inside-outside algorithm from the EM algorithm. IBM TJ Watson Research Center, 2000.
[24]Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollar, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In ′ European Conference on Computer Vision (ECCV), pp. 740–755. Springer, 2014.
[25]Yongfei Liu, Bo Wan, Xiaodan Zhu, and Xuming He. Learning cross-modal context graph for visual grounding. In Proceedings of the AAAI Conference on Artificial Intelligence (AAAI), 2020.
[26]Yongfei Liu, Bo Wan, Lin Ma, and Xuming He. Relation-aware instance refinement for weakly supervised visual grounding. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2021.
[27]Lin Ma, Zhengdong Lu, Lifeng Shang, and Hang Li. Multimodal convolutional neural networks for matching image and sentence. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), pp. 2623–2631, 2015.
[28]Collins Michael. Probabilistic context-free grammars. In NLP course note, 2011.
[29]Jeffrey Pennington, Richard Socher, and Christopher D. Manning. Glove: Global vectors for word representation. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532–1543, 2014. URL http://www.aclweb.org/anthology/D14-1162.
[30]Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee,and Luke Zettlemoyer. Deep contextualized word representations. In Marilyn A. Walker,Heng Ji, and Amanda Stent (eds.), Proceedings of the Annual Conference of the North American Chapter of the Association for Computational Linguistics (NAACL), pp. 2227–2237. Association for Computational Linguistics, 2018. doi: 10.18653/v1/n18-1202. URL https:
//doi.org/10.18653/v1/n18-1202.
[31]A. Bryan Plummer, Liwei Wang, M. Christopher Cervantes, C. Juan Caicedo, Julia Hockenmaier, and Svetlana Lazebnik. Flickr30k entities: Collecting region-to-phrase correspondences for richer image-to-sentence models. IJCV, 123:74–93, 2017.
[32]Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster r-cnn: Towards real-time object detection with region proposal networks. In Workshop on Advances in Neural Information Processing Systems (NIPS), 2015.
Anna Rohrbach, Marcus Rohrbach, Ronghang Hu, Trevor Darrell, and Bernt Schiele. Grounding of textual phrases in images by reconstruction. In European Conference on Computer Vision (ECCV), 2016.
[33]Yikang Shen, Zhouhan Lin, Chin-wei Huang, and Aaron Courville. Neural language modeling by jointly learning syntax and lexicon. In International Conference on Learning Representations (ICLR), 2018.
[34]Yikang Shen, Shawn Tan, Alessandro Sordoni, and Aaron Courville. Ordered neurons: Integrating tree structures into recurrent neural networks. International Conference on Learning Representations (ICLR), 2019.
好了，這篇文章的內(nèi)容發(fā)貨聯(lián)盟就和大家分享到這里，如果大家網(wǎng)絡(luò)推廣引流創(chuàng)業(yè)感興趣，可以添加微信：80709525 備注：發(fā)貨聯(lián)盟引流學(xué)習(xí)； 我拉你進(jìn)直播課程學(xué)習(xí)群，每周135晚上都是有實(shí)戰(zhàn)干貨的推廣引流技術(shù)課程免費(fèi)分享！
