計算語言學擁抱AI 助優化大語言模型

工程師William Wong於8月12日至14日前往曼谷參加第62屆「國際計算語言學協會大會」（ACL2024），超過3000位來自世界各地的學生、學者、研究員、工程師等參加此周年盛會，進行學術及技術交流。William是「國際計算語言學協會」的會士（Fellow of Association of Computational Linguistics, ACL），過去30年來每年都會抽空參加這個會議，見證「國際計算語言學協會大會」的成長，以及相關技術的全球發展。

顧名思義，ACL於1962年成立時是以「語言學」（Linguistics）為主導，並探討如何有效地利用計算機來協助語言學研究，例如從書籍中進行自動詞語索引（Concordance）以了解用詞的分布。與此同時，「人工智能」（AI）掘起，電腦科學家們紛紛研究如何利用資訊科技（IT）來模仿人類「讀」（Read）、「寫」（Write）、「聽」（Listen）及「說」（Speak）的日常行為，推動了「自然語言處理」（Natural Language Processing, NLP）研究的興起和發展，這也是他的專業。

雖然NLP和計算語言學（Computational Linguistics, CL）都聚焦於語言分析，但NLP着重於研究電腦「處理」（Processing）的算法。換句話說，NLP偏向語言應用，而CL偏向語言理論。儘管ACL是以CL為起家，但一直以來CL及NLP在ACL兩個領域是共存的，多年來在會內並行發展。不過，隨着語言工具在商界應用日益普及，相關市場規模近年持續增長，應用研究課題（即NLP）已愈來愈受到學界的重視，而理論研究（即CL）似乎正逐漸被忽視。

ChatGPT徹底改變研究生態

2020年，ChatGPT橫空出世，徹底改變了「計算語言學」世界的格局。ChatGPT項目的成功，引領科技業界都爭相投資「生成式人工智能」（Generative AI, GenAI）的研發，特別是它背後核心的NLP技術──「大型語言模型」（Large Language Model, LLM）。然而，許多LLM研發項目的重點聚焦在應用層面，主要探討如何利用LLM，例如OpenAI的GPT、Meta的Llama等，來優化不同的傳統IT應用系統，如機器翻譯（Machine Translation, MT）、資訊檢索（Information Retrieval, IR）、對話系統（Dialogue System, DS）、推薦系統（Recommendation System, RS）等；也有公司利用LLM開發出不同模態的生成式應用模型，例如具有視頻創作功能的SORA。這種現象近期顛覆了全球傳統NLP科研，不少NLP研究人員認為GPT、Llama等LLM已是無懈可擊，他們在傳統領域（例如MT、IR、DS、RS等）的研究很難找到更進一步的突破。

William在今年的ACL2024大會中觀察到上述現象，根據大會主席的報告，本屆超過六成的論文與LLM相關，主要研究如何提升LLM的性能和可靠性，但這類研究偏向計算機科學(Computer Science)，對語言學研究並無太大幫助。也許正因為這個原因，不少資深的ACL常客都未出席ACL2024但無可否認，大會缺少了他們的現場的意見和智慧输出，實在是非常可惜。

ACL2024程序委員會似乎非常了解學術界對於LLM對CL發展造成影響的憂慮。今年大會的主旨報告正是針對這一問題的分析，講者是德國慕尼黑大學LMU的白蘭卡（Babara Blank）教授，演講題目是「LLM是否縮小了我們的視野？讓我們擁抱NLP的多樣化！」（Are LLMs Narrowing Our Horizon? Let's Embrace Variation in NLP!）。概括而言，白蘭卡指出了上述CL和NLP研究失衡的問題：傳統語言學學者對LLM研究不太感興趣，認為儘管LLM帶有「語言」一詞，但這研究的焦點並非真正與語言相關，實際上是計算機科學的研究工作；惟她認為語言學學者不應氣餒，應該擁抱LLM（或更廣義的NLP）。

CL的初衷是研究人類如何在不同語境、面對不同對象、處於不同心理狀態下等使用語言來表達自己，而LLM對語言分析的目標如出一轍。然而，兩者相比之下，LLM主要的不同之處在於它是以AI算法進行分析，而不是由「自然人」所為。那麼語言學學者可以將「算法」視為「非自然人」，以同樣的態度面對「它」的語言技巧。講者進一步指出，LLM的語言學應用分為三部分：一是輸入，研究如何利用「指示」（Prompt）準確地表達用戶的需求，再透過LLM的知識庫生成有效的回應；二是建模（Modeling），研究如何在大模型中融入語言學元素（例如推理、情感），使LLM的生成功能更具人性化；三是輸出核對（Verification），研究如何確保回應的真實性和可靠性。

英國哲學家培根（Roger Bacon）道：「語言知識是通往智慧的大門。」William非常贊同，並認為與本文論點一致，反映出「計算語言學」對促進「生成式人工智能」發展的確是舉足輕重。