2024年8月30日 星期五

計算語言學擁抱AI 助優化大語言模型

工程師William Wong812日至14日前往曼谷參加第62屆「國際計算語言學協會大會」(ACL2024),超過3000位來自世界各地的學生、學者、研究員、工程師等參加此周年盛會,進行學術及技術交流。William是「國際計算語言學協會」的會士(Fellow of Association of Computational Linguistics, ACL),過去30年來每年都會抽空參加這個會議,見證「國際計算語言學協會大會」的成長,以及相關技術的全球發展。

顧名思義,ACL1962年成立時是以「語言學」(Linguistics)為主導,並探討如何有效地利用計算機來協助語言學研究,例如從書籍中進行自動詞語索引(Concordance)以了解用詞的分布。與此同時,「人工智能」(AI)掘起,電腦科學家們紛紛研究如何利用資訊科技(IT)來模仿人類「讀」(Read)、「寫」(Write)、「聽」(Listen)及「說」(Speak)的日常行為,推動了「自然語言處理」(Natural Language Processing, NLP)研究的興起和發展,這也是他的專業。

雖然NLP和計算語言學(Computational Linguistics, CL)都聚焦於語言分析,但NLP着重於研究電腦「處理」(Processing)的算法。換句話說,NLP偏向語言應用,而CL偏向語言理論。儘管ACL是以CL為起家,但一直以來CLNLPACL兩個領域是共存的,多年來在會內並行發展。不過,隨着語言工具在商界應用日益普及,相關市場規模近年持續增長,應用研究課題(即NLP)已愈來愈受到學界的重視,而理論研究(即CL)似乎正逐漸被忽視。

ChatGPT徹底改變研究生態

2020年,ChatGPT橫空出世,徹底改變了「計算語言學」世界的格局。ChatGPT項目的成功,引領科技業界都爭相投資「生成式人工智能」(Generative AI, GenAI)的研發,特別是它背後核心的NLP技術──「大型語言模型」(Large Language Model, LLM)。然而,許多LLM研發項目的重點聚焦在應用層面,主要探討如何利用LLM,例如OpenAIGPTMetaLlama等,來優化不同的傳統IT應用系統,如機器翻譯(Machine Translation, MT)、資訊檢索(Information Retrieval, IR)、對話系統(Dialogue System, DS)、推薦系統(Recommendation System, RS)等;也有公司利用LLM開發出不同模態的生成式應用模型,例如具有視頻創作功能的SORA。這種現象近期顛覆了全球傳統NLP科研,不少NLP研究人員認為GPTLlamaLLM已是無懈可擊,他們在傳統領域(例如MTIRDSRS等)的研究很難找到更進一步的突破。

William在今年的ACL2024大會中觀察到上述現象,根據大會主席的報告,本屆超過六成的論文與LLM相關,主要研究如何提升LLM的性能和可靠性,但這類研究偏向計算機科學(Computer Science),對語言學研究並無太大幫助。也許正因為這個原因,不少資深的ACL常客都未出席ACL2024但無可否認,大會缺少了他們的現場的意見和智慧输出,實在是非常可惜。

ACL2024程序委員會似乎非常了解學術界對於LLMCL發展造成影響的憂慮。今年大會的主旨報告正是針對這一問題的分析,講者是德國慕尼黑大學LMU的白蘭卡(Babara Blank)教授,演講題目是「LLM是否縮小了我們的視野?讓我們擁抱NLP的多樣化!」(Are LLMs Narrowing Our Horizon? Let's Embrace Variation in NLP!)。概括而言,白蘭卡指出了上述CLNLP研究失衡的問題:傳統語言學學者對LLM研究不太感興趣,認為儘管LLM帶有「語言」一詞,但這研究的焦點並非真正與語言相關,實際上是計算機科學的研究工作;惟她認為語言學學者不應氣餒,應該擁抱LLM(或更廣義的NLP)。

CL的初衷是研究人類如何在不同語境、面對不同對象、處於不同心理狀態下等使用語言來表達自己,而LLM對語言分析的目標如出一轍。然而,兩者相比之下,LLM主要的不同之處在於它是以AI算法進行分析,而不是由「自然人」所為。那麼語言學學者可以將「算法」視為「非自然人」,以同樣的態度面對「它」的語言技巧。講者進一步指出,LLM的語言學應用分為三部分:一是輸入,研究如何利用「指示」(Prompt)準確地表達用戶的需求,再透過LLM的知識庫生成有效的回應;二是建模(Modeling),研究如何在大模型中融入語言學元素(例如推理、情感),使LLM的生成功能更具人性化;三是輸出核對(Verification),研究如何確保回應的真實性和可靠性。

英國哲學家培根(Roger Bacon)道:「語言知識是通往智慧的大門。」William非常贊同,並認為與本文論點一致,反映出「計算語言學」對促進「生成式人工智能」發展的確是舉足輕重。

沒有留言:

張貼留言