網(wǎng)易有道AI團隊獲中文語法錯誤診斷大賽冠軍

　　對于英語學(xué)習(xí)者來說，機器自動批改作文技術(shù)已經(jīng)不再陌生，而全球人工智能專家們正在攻克更具挑戰(zhàn)性的堡壘——中文作文批改。

　　12月初，第六屆中文語法錯誤自動診斷大賽（Chinese Grammatical Error Diagnosis，以下簡稱CGED）公布最終成績，作為首次參賽的隊伍，有道AI自然語言處理（NLP）團隊在比賽中的語法糾錯Top3賽道斬獲冠軍，并且在另外兩個賽道（語法糾錯Top1、錯誤定位）位列前三，這也標志著有道AI在中文作文批改上取得的又一重大進展。

　　CGED大賽已經(jīng)走到第六年，比賽的方式是由計算機自動對外國人寫作的中文句子進行錯誤的檢測和糾錯，分為檢測是否有錯誤、錯誤位置、錯誤類型、糾錯等共計6個賽道。來自國內(nèi)外14支團隊參與了今年的比賽。

　　英文語法錯誤診斷：有道已實現(xiàn)全面產(chǎn)品落地

　　AI作文批改技術(shù)在英語學(xué)習(xí)上的應(yīng)用，網(wǎng)易有道早已實現(xiàn)落地。

　　2020年年中，網(wǎng)易有道將AI作文批改功能正式落地于網(wǎng)易有道詞典App，隨后在有道精品課初中英語秋季系統(tǒng)班中成功應(yīng)用，用戶反饋良好。

　　近日，網(wǎng)易有道推出“有道寫作”，將原有內(nèi)嵌在網(wǎng)易有道詞典App的AI作文批改功能，延伸至網(wǎng)頁瀏覽器、Word插件、PC詞典等端口，滿足用戶的多場景使用需求。

　　AI作文批改受益于有道在神經(jīng)網(wǎng)絡(luò)機器翻譯任務(wù)上的多年數(shù)據(jù)積累和快速更迭的深度學(xué)習(xí)技術(shù)，使用了基于Transformer架構(gòu)的核心引擎，能夠?qū)τ脩舻挠⒄Z作文進行評分、評語和糾錯，有效解決了不同年齡段英語學(xué)習(xí)者的自助學(xué)習(xí)的需求。

　　中文難于英文：語文作文批改面臨更高技術(shù)壁壘

　　相比于英文，中文語法糾錯任務(wù)的研究還較為早期，無論是任務(wù)本身的特點，還是數(shù)據(jù)的積累都與英文有較大的差異。

　　一方面，中文字符連寫，傳統(tǒng)的語義理解及分析的方法基本上都需要依賴于分詞等前置處理模塊，而存在錯誤的文本會放大語言的歧義性，帶來基礎(chǔ)模塊識別質(zhì)量的下降；另一方面，中文的語法不像英文有較為嚴格的規(guī)則，相對更為隨意和復(fù)雜，不容易通過定義規(guī)則來處理。和英語語法糾錯任務(wù)相比，比賽方能夠提供的中文訓(xùn)練數(shù)據(jù)是非常有限的，因此很難直接使用較為復(fù)雜的深度學(xué)習(xí)模型充分學(xué)習(xí)建模。

　　盡管有道AI團隊在智能批改糾錯方面有較長時間的積累，該任務(wù)對技術(shù)團隊來說仍然是不小的挑戰(zhàn)�！�

　　“人工智能只有通過積累足量的語料后，才可以理解復(fù)雜度高的語法錯誤，進而才能作為產(chǎn)品功能落地。”網(wǎng)易有道首席科學(xué)家段亦濤表示，網(wǎng)易有道在教育和學(xué)習(xí)場景之下深耕多年，在OCR（光學(xué)字符識別）、NMT（神經(jīng)網(wǎng)絡(luò)翻譯）、語音識別技術(shù)等方面都已經(jīng)有良好的技術(shù)落地成果，且用戶口碑和體驗一直好評不斷。

　　機器批改作文：Precision（精確率）在工程實踐中更具意義

　　值得注意的是，有道AI團隊在本次比賽中的語法糾錯項目中，在CorrectionTop3和CorrectionTop1綜合指標（F1）分別獲得第1和第3名的情況下，對應(yīng)的Precision（精確率）要明顯高于其他參賽隊伍。這在教育實踐場景當中對用戶體驗更為重要。

　　比賽綜合指標F1兼顧了Precision與Recall（召回率），作為模型精確率與召回率的一種調(diào)和平均。前者代表參賽系統(tǒng)給出的所有修改片段中，片段被正確修改的比例；后者代表在所有需要被正確修改的片段中，參賽系統(tǒng)修改的片段占的比例。

　　有道在Precision上的絕對領(lǐng)先，是源于有道AI寫作助手的設(shè)計理念：錯誤的修改建議將誤導(dǎo)用戶進行不正確的修改，從而大大影響用戶的體驗。而且，在用戶本身缺乏辨別能力的業(yè)務(wù)場景（如：低齡兒童的教育業(yè)務(wù)）中，該問題還會被進一步放大。

　　因此，在英文語法糾錯任務(wù)（如：CoNLL-2014和BEA-2019英文語法糾錯任務(wù)）中，通常會采用F0.5作為評價指標。該指標的計算方法與F1指標類似，區(qū)別在于相比于Recall，該指標賦予了Precision更高的權(quán)重。

　　在CGED獲獎之前，網(wǎng)易有道曾試水了第七屆NLPCC中的“中文語法錯誤修正”共享任務(wù)比賽，斬獲冠軍。在技術(shù)優(yōu)勢積累、K12業(yè)務(wù)拓展的加持下，網(wǎng)易有道在語文作文修改領(lǐng)域的技術(shù)升級進展飛速。

　　目前，網(wǎng)易有道的產(chǎn)品矩陣中已經(jīng)布局了不少針對CSL（以中文為第二語言）學(xué)習(xí)者的課程和應(yīng)用。段亦濤表示，除了設(shè)計面向中文學(xué)習(xí)者的學(xué)習(xí)工具，未來網(wǎng)易有道還可以與中小學(xué)校合作，實現(xiàn)輔助老師進行作文批改等功能，進一步擴大有道AI技術(shù)在K12業(yè)務(wù)上的應(yīng)用場景。