<span id='k0dr'></span>

      1. <i id='k0dr'></i>

        <code id='k0dr'><strong id='k0dr'></strong></code>
        <i id='k0dr'><div id='k0dr'><ins id='k0dr'></ins></div></i>

        1. <tr id='k0dr'><strong id='k0dr'></strong><small id='k0dr'></small><button id='k0dr'></button><li id='k0dr'><noscript id='k0dr'><big id='k0dr'></big><dt id='k0dr'></dt></noscript></li></tr><ol id='k0dr'><table id='k0dr'><blockquote id='k0dr'><tbody id='k0dr'></tbody></blockquote></table></ol><u id='k0dr'></u><kbd id='k0dr'><kbd id='k0dr'></kbd></kbd>
        2. <fieldset id='k0dr'></fieldset>

          <ins id='k0dr'></ins>
        3. <acronym id='k0dr'><em id='k0dr'></em><td id='k0dr'><div id='k0dr'></div></td></acronym><address id='k0dr'><big id='k0dr'><big id='k0dr'></big><legend id='k0dr'></legend></big></address>
          <dl id='k0dr'></dl>

          深研院信息工程學院鄒月嫻教授課題組在人工智能頂級會議AAAI上發表論文

          • 时间:
          • 浏览:5
          • 来源:午夜福到在线4国产_午夜福利0855免费视频_午夜福利09不卡片在线机视频

            最近,視覺和語言的多模態任務,例如圖像字幕和視覺問題解答(VQA),引起瞭學術界和工業界的廣泛興趣。但是,大多數現有的模型都專註於單個任務。深圳研究生院信息工程學院鄒月嫻教授課題組研究發現,這些任務存在一定的相似性,因此認為如果模型可以同時考慮這些多模態問題,則可以共同學習來自不同任務的不同知識,並且很有可能提高每個任務的效能。

            近日,鄒月嫻課題組的研究“Federated Learning for Vision-and-Language Grounding Problems”被在美國紐約舉行的第34屆人工智能發展協會(AAAI)人工智能會議(AAAI Conference on Artificial Intelligence, AAAI 2020)接收發表並以口頭匯報(Oral)的形式進行瞭展示。該研究成果提出瞭一種聯邦學習框架,可以從不同的任務中獲得各種類型的圖像表示,然後將它們融合在一起以形成細粒度的圖像表示。這些圖像表示融合瞭來自不同視覺和語言的多模態問題的有用圖像表示,因此在單個任務中比單獨的原始圖像表示強大得多。為瞭學習這種圖像表示,該課題組提出瞭對齊(Aligning)、集成(Integrating)和映射(Mapping)、網絡(aimNet)。aimNet由一個對齊模塊,一個集成模塊和一個映射模塊組成(如下圖)。

          課題組提出的集中式模型aimNet

            其中,對齊模塊通過對提取的視覺和文本特征進行相互關註來構建對齊的圖像表示,其能為顯著圖像區域提供瞭更清晰的語義描述。接下來,集成模塊著重於通過自我註意機制集成視覺和文本特征,該機制捕獲顯著區域的分組和屬性的搭配。最後,映射模塊由兩層非線性層組成,用於將學習到的細粒度圖像表示映射到特定任務的特征域。各課題組提出的模塊充分利用瞭圖像中的所有有效信息,並將其作為輸入傳遞給解碼器,以生成有意義的句子或給出問題的準確答案。該課題組在兩個圖像字幕數據集和一個VQA數據集上,以及相應的三個聯邦學習設置上,包括水平聯合學習,垂直聯合學習和聯合遷移學習,進行實驗用於驗證該課題組的動機以及所提出方法的有效性。

            2019級碩士生劉峰林為該論文第一作者,鄒月嫻為通訊作者,該工作得到瞭數字視頻編解碼技術國傢工程實驗室、深圳市發改委(數據科學與智能計算學科發展計劃)和Aoto-PKUSZ聯合實驗室的支持。

          猜你喜欢

          浙大寧波理工學院為湖北籍傢庭經濟困難學生每人發放1000元困難補助

          近日,浙大寧波理工學院啟動應對新型冠狀病毒肺炎疫情應急資助工作,為175名湖北籍以及其他傢庭經濟困難學生發放126000元臨時困難補助,按時發放寒假返鄉補助金,以及國傢助學金,

          2020-05-26

          同濟大學校長陳傑:青春逢盛世,奮鬥正當時

          3月31日下午,同濟大學2020年春季學期思政大課堂“雲”開講,校長陳傑以“青春逢盛世,奮鬥正當時——做愛國主義精神的堅定弘揚者和踐行者”為題,為全校學生直播講授瞭一堂愛國主義

          2020-05-26

          華東師范大學發佈未來85年全球城市擴張預測

          今天我們迎來瞭第51個“世界地球日”,“珍愛地球,人與自然和諧共生”是今年的主題。經濟的高速發展為環境保護提出一個又一個新的難題,城市的擴張是否影響全球能量循環與可持續發展?華

          2020-05-26

          上交、 復旦、 華東師大牽頭項目獲特等獎!2019年上海市科學技術獎揭曉

          近年來,在全市科技工作者努力下,上海科創中心建設持續湧現的一批具有影響力的高水平成果,先後在國傢和本市科學技術獎的評選中脫穎而出。5月19日上午,2019年度上海市科學技術獎勵

          2020-05-26

          教育部:努力開發適合畢業生的科研助理崗位

          5月6日,由教育部、人力資源和社會保障部、工業和信息化部、國資委、中央廣播電視總臺、共青團中央等6部門共同主辦的2020屆普通高校畢業生就業“百日沖刺”行動正式啟動。啟動儀式上

          2020-05-26