999精品,丝袜综合,大陆老熟妇性,中国老女人AV,亚洲精品国产第一区二区三区

如何將人類知識注入預(yù)訓(xùn)練模型，讓知識和數(shù)據(jù)有機融合，一直是AI研究中的難題。

近日，達摩院首次利用半監(jiān)督學(xué)習(xí)將標注的人類知識注入預(yù)訓(xùn)練對話模型，在MultiWOZ2.1等三個國際主流對話數(shù)據(jù)集中均實現(xiàn)了最佳效果，提升幅度明顯，為知識和數(shù)據(jù)融合探索出新路徑。

達摩院新模型在三大國際數(shù)據(jù)集上的表現(xiàn)

01

什么是預(yù)訓(xùn)練模型

預(yù)訓(xùn)練模型是AI近年來重要的發(fā)展趨勢，其打破了傳統(tǒng)模型通用性差的制約，可做到舉一反三，解決多種任務(wù)。

常見的預(yù)訓(xùn)練模型有預(yù)訓(xùn)練語言模型，可以出題讓AI寫高考作文；預(yù)訓(xùn)練多模態(tài)模型，可以給到文字讓AI生成圖片。

而預(yù)訓(xùn)練對話模型還需要考慮對話過程中的策略，如：對話輪次、上下文情境、對話人員的角色等，以便理解對方意圖并做出恰當回復(fù)。

打個比方，在凌晨時分提問AI“明天天氣如何”，AI根據(jù)理解作出的回答通常是當日天亮后的天氣，而非客觀事實上的“明天”。

對話特有的屬性總結(jié)

經(jīng)過快速發(fā)展，業(yè)內(nèi)已成功構(gòu)建出萬億參數(shù)的大模型。但不少研究者認為，數(shù)據(jù)量只是一方面，如果能將人類知識有機注入預(yù)訓(xùn)練模型，AI有望像人類一樣思考。

不過，這并不容易。由于知識數(shù)量級遠小于無標注數(shù)據(jù)，簡單混合容易導(dǎo)致知識被淹沒，或者出現(xiàn)嚴重的過擬合。

02

AI模型的基本訓(xùn)練方法

目前，預(yù)訓(xùn)練模型的主流訓(xùn)練方法還是以有監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)為主，半監(jiān)督學(xué)習(xí)更多是配合有監(jiān)督學(xué)習(xí)，用于減少數(shù)據(jù)標注、降低成本等場景。

有監(jiān)督預(yù)訓(xùn)練：存在有標數(shù)據(jù)進行指導(dǎo)，所學(xué)出的特征對某些相關(guān)下游任務(wù)更加適配，但是卻嚴重依賴人工標注；

自監(jiān)督預(yù)訓(xùn)練：可不再受到人工標注的局限，利用海量無標數(shù)據(jù)進行學(xué)習(xí)，但學(xué)習(xí)成果更多是普適的語義表示。

半監(jiān)督預(yù)訓(xùn)練：從遷移學(xué)習(xí)的角度來看，可以認為是一個前兩種范式的自然延伸，可以充分利用有限的標注知識和大量的無標數(shù)據(jù)。

此次，達摩院研究人員將半監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)進行融合，在預(yù)訓(xùn)練對話模型中實現(xiàn)了這一創(chuàng)新工作，相關(guān)論文已被AAAI2022接收。

半監(jiān)督使用示意圖

03

達摩院的半監(jiān)督預(yù)訓(xùn)練建模方案

構(gòu)建知識庫：

達摩院構(gòu)建了目前最大的對話動作標簽知識庫，用于刻畫對話策略，總量達97萬輪次；

SPACE 1.0模型：

此外，達摩院還設(shè)計了新型預(yù)訓(xùn)練對話模型SPACE 1.0，采用 encoder+decoder 架構(gòu)，預(yù)訓(xùn)練的目標既包含了傳統(tǒng)的建模對話理解和對話生成的自監(jiān)督 loss，也包含了建模對話策略的半監(jiān)督 loss。

達摩院使用的半監(jiān)督訓(xùn)練方法

新模型在斯坦福 In-Car，劍橋MultiWOZ2.0和亞馬遜 MultiWOZ2.1這三個國際主流對話數(shù)據(jù)集上均實現(xiàn)了SOTA（最佳效果），部分提升超過5%，幅度較大。

在具體案例中，新模型能夠更準確預(yù)測出對話動作，能夠更好和人類進行對話，避免答非所問。

一輪完整的對話過程

達摩院資深算法專家李永彬表示，這項工作還只是起步，如何將更多的人類標注知識通過半監(jiān)督的方式注入到預(yù)訓(xùn)練模型中、如何讓模型自動選擇合適的知識、如何更好評價知識注入的效果，還需要體系化的探索和創(chuàng)新。

目前，SPACE 1.0模型已應(yīng)用于阿里云智能客服等產(chǎn)品，對外輸出服務(wù)客戶。據(jù)艾瑞咨詢最近發(fā)布的《2022年中國對話式AI行業(yè)發(fā)展白皮書》，阿里云智能客服已領(lǐng)跑中國對話式AI行業(yè)。