今年高考英語AI得分134，復(fù)旦武大校友這項(xiàng)研究有點(diǎn)意思

由網(wǎng)絡(luò)整理 分享時(shí)間：2024-03-01 10:33:52 收藏本文

明敏發(fā)自凹非寺

量子位 | 公眾號(hào) QbitAI

在挑戰(zhàn)寫語文作文后，AI現(xiàn)在又盯上了高考英語。

結(jié)果好家伙，今年高考英語卷（全國(guó)甲卷）一上手，就拿了134分。

而且不是偶然的超常發(fā)揮。

在2023-2023年的10套真題測(cè)試中，AI的分?jǐn)?shù)都在125分以上，最高紀(jì)錄為138.5分，聽力和閱讀理解還拿過滿分。

這就是由CMU學(xué)者提出的，高考英語測(cè)試AI系統(tǒng)Qin。

它的參數(shù)量只有GPT-3的16分之一，平均成績(jī)卻比GPT-3高出15分。

其背后的秘訣名叫重構(gòu)預(yù)訓(xùn)練（reStructured Pre-training），是作者提出的一種新學(xué)習(xí)范式。

具體來看，就是把維基百科、YouTube等平臺(tái)的信息重新提取重構(gòu)，再喂給AI進(jìn)行訓(xùn)練，由此讓AI具有更強(qiáng)的泛化能力。

兩位學(xué)者用足足100多頁的論文，深入解釋了這一新范式。

那么，這一范式到底講了什么？

我們來深扒一下~

什么是重構(gòu)預(yù)訓(xùn)練？

論文題目很簡(jiǎn)單，就叫reStructured Pre-training（重構(gòu)預(yù)訓(xùn)練，RST）。

核心觀點(diǎn)凝練來說就是一句話，要重視數(shù)據(jù)啊！

作者認(rèn)為，這個(gè)世界上有價(jià)值的信息無處不在，而目前的AI系統(tǒng)并沒有充分利用數(shù)據(jù)中的信息。

比如像維基百科，Github，里面包含了各種可以供模型學(xué)習(xí)的信號(hào)：實(shí)體，關(guān)系，文本摘要，文本主題等。這些信號(hào)之前由于技術(shù)瓶頸都沒有被考慮。

所以，作者在本文中提出了一種方法，可以用神經(jīng)網(wǎng)絡(luò)統(tǒng)一地存儲(chǔ)和訪問包含各種類型信息的數(shù)據(jù)。

他們以信號(hào)為單位、結(jié)構(gòu)化地表示數(shù)據(jù)，這很類似于數(shù)據(jù)科學(xué)里我們常常將數(shù)據(jù)構(gòu)造成表或JSON格式，然后通過專門的語言（如SQL）來檢索所需的信息。

具體來看，這里的信號(hào)，其實(shí)就是指數(shù)據(jù)中的有用信息。

比如在“莫扎特生于薩爾茨堡”這句話中，“莫扎特”、“薩爾茨堡”就是信號(hào)。

然后，就需要在各種平臺(tái)上挖掘數(shù)據(jù)、提取信號(hào)，作者把這個(gè)過程比作了從礦山里尋寶。

接下來，利用prompt方法，就能將這些來自不同地方的信號(hào)統(tǒng)一成一種形式。

最后，再將這些重組的數(shù)據(jù)集成并存儲(chǔ)到語言模型中。

這樣一來，該研究就能從10個(gè)數(shù)據(jù)源中，統(tǒng)一26種不同類型的信號(hào)，讓模型獲得很強(qiáng)的泛化能力。

結(jié)果表明，在多個(gè)數(shù)據(jù)集中，RST-T、RST-A零樣本學(xué)習(xí)的表現(xiàn)，都優(yōu)于GPT-3的少樣本學(xué)習(xí)性能。

而為了更進(jìn)一步測(cè)試新方法的表現(xiàn)，作者還想到了讓AI做高考題的方法。

他們表示，現(xiàn)在很多工作方法走的都是漢化GPT-3的思路，在評(píng)估的應(yīng)用場(chǎng)景上也是跟隨OpenAI、DeepMind。

比如GLUE測(cè)評(píng)基準(zhǔn)、蛋白質(zhì)折疊評(píng)分等。

基于對(duì)當(dāng)下AI模型發(fā)展的觀察，作者認(rèn)為可以開辟出一條新的賽道試試，所以就想到了用高考給AI練練手。

他們找來了前后幾年共10套試卷進(jìn)行標(biāo)注，請(qǐng)高中老師來進(jìn)行打分。

像聽力/識(shí)圖理解這樣的題目，還找來機(jī)器視覺、語音識(shí)別領(lǐng)域的學(xué)者幫忙。

最終，煉出了這套高考英語AI模型，也可以叫她為Qin。

從測(cè)試結(jié)果可以看到，Qin絕對(duì)是學(xué)霸級(jí)別了，10套卷子成績(jī)都高于T0pp和GPT-3。

此外，作者還提出了高考benchmark。

他們覺得當(dāng)下很多評(píng)價(jià)基準(zhǔn)的任務(wù)都很單一，大多沒有實(shí)用價(jià)值，和人類情況對(duì)比也比較困難。

而高考題目既涵蓋了各種各樣的知識(shí)點(diǎn)，還直接有人類分?jǐn)?shù)來做比對(duì)，可以說是一箭雙雕了。

NLP的第五范式？

如果從更深層次來看，作者認(rèn)為，重構(gòu)預(yù)訓(xùn)練或許會(huì)成為NLP的一種新范式，即把預(yù)訓(xùn)練/微調(diào)過程視為數(shù)據(jù)存儲(chǔ)/訪問過程。

此前，作者將NLP的發(fā)展總結(jié)成了4種范式：

P1. 非神經(jīng)網(wǎng)絡(luò)時(shí)代的完全監(jiān)督學(xué)習(xí) （Fully Supervised Learning, Non-Neural Network）P2. 基于神經(jīng)網(wǎng)絡(luò)的完全監(jiān)督學(xué)習(xí) (Fully Supervised Learning, Neural Network)P3. 預(yù)訓(xùn)練，精調(diào)范式 (Pre-train, Fine-tune)P4. 預(yù)訓(xùn)練，提示，預(yù)測(cè)范式（Pre-train, Prompt, Predict）

但是基于當(dāng)下對(duì)NLP發(fā)展的觀察，他們認(rèn)為或許之后可以以一種data-centric的方式來看待問題。

也就是，預(yù)訓(xùn)/精調(diào)、few-shot/zero-shot等概念的差異化會(huì)更加模糊，核心只關(guān)注一個(gè)點(diǎn)——

有價(jià)值的信息有多少、能利用多少。

此外，他們還提出了一個(gè)NLP進(jìn)化假說。

其中的核心思想是，技術(shù)發(fā)展方向總是順著這樣的——做更少的事實(shí)現(xiàn)更好、更通用的系統(tǒng)。

作者認(rèn)為，NLP經(jīng)歷了特征工程、架構(gòu)工程、目標(biāo)工程、提示工程，當(dāng)下正在朝著數(shù)據(jù)工程方向發(fā)展。