AI專家聯署叫停研發ASI

遠比人類聰明恐失控

AI專家聯署叫停研發ASI

英國科學家、小說家C.P.斯諾（C.P. Snow, 1905－1980），將1959年5月在劍橋大學的演講，寫成《兩種文化與科學變革》（The Two Cultures and the Scientific Revolution）。書中指出，全球教育的質量正逐步降低。知識界分裂為兩種文化：科學和人文文化。科學家欠缺人文素養，人文學者不懂科學，兩者無法對話。

科學家大多看好科技可造福人類，縱使有缺點壞處，也可用新發明解決，例如要解決氣候暖化問題，採用綠色能源可減碳排放；人文學者則大多不信任科技，認為科技會加劇「去人性化」（dehumanisation）的趨勢！

如今兩種文化是人文和Al文化，不少科學家卻站在人文學者一邊，擔心Al可能威脅人類生存。2023年4月，數以百計AI專家，發表一封公開信，包括多倫多大學教授辛頓FRS（Geoffrey Hinton, 1947－）。他被譽為「AI教父」，「深度學習教父」，並在2024年與他人共同獲得諾貝爾物理學獎。他說：「緩解Al對人類的生存風險，與其他社會風險如瘟疫及核戰等，應列為全球優先關注的事項。」他主張暫停乃至永遠停止發展超級人工智能（Artificial Superintelligence，簡稱ASI）。

力量強大危險

同年7月，逾1300名AI專家及企業家，亦發表公開信指出，「AI是造福而非威脅人類的力量。」兩年多後的今天，雖然AI的壞影響愈發顯著，AI應用依然愈來愈廣泛，投資愈來愈巨額，叫停和反對之聲，漸如空谷足音矣！

根據2024年一份調查2778名Al研究員的報告，受訪者估計，Al會帶來「極端壞處例如人類的滅絕」的中位或然率是5%至9%。這算不算令人擔心呢？英美兩國的選民怎樣看呢？YouGov調查指出，69%美國選民認為，Al是力量強大但危險的科技。英國60%選民有同樣的看法，63%更認為，應該禁止AI製造更聰明的Al。兩國選民都主張，政府應該立法規管Al和ASI的研究和發展。由此可見，公眾比Al研究員和專家、企業家等更擔心Al為害多過造福。

有份簽署叫停公開信的蘇亞雷斯（Nate Soares），是機器心智研究所（Machine Intelligence Research Institute，MIRI）的執行董事。他與Al研究員尤考斯基（Eliezer Yudkowsky）共同撰寫了《如果有人建造它，所有人都會死》（If Anyone Builds It, Everyone Dies）一書。他們並非反對Al，只是反對製造遠比人類聰明的ASI，而應專注於能造福人類而仍受人類控制的AI，譬如蛋白質摺疊的技術問題，用DeepMind已可解決。全書的主題是，人類根本毋須亦不應發明ASI，因ASI會威脅人類的生存。

與人無法溝通

尤考斯基指出，目前能夠深度學習的Al已構成威脅，基本原因是人類無法完全理解其運作方式。單是Large Language Model LLM（大型語言模型）已是人類無法理解的心智（alien mind）。它如何操作？何以犯錯？如何保證它以後不會犯同樣錯誤？專家根本一無所知！往後，ASI會不會發展一套獨特「語言」，只有ASI才可以跟ASI對話，人類亦「聽」不懂ASI「說」什麼，人類文化和ASI文化變成兩種文化，無法對話和溝通！

書中說到：OpenAl曾接受指令，在電腦中找出一些檔案。因為程式員不小心，其中一個伺服器並未開啟，它無法找齊所有檔案。但它沒有放棄，亦沒有通知程式員，即自行想出辦法，闖入另一個連接埠，開啟了伺服器，取齊檔案，完成任務。現時的Al已可以及會自把自為，為完成指令自主行動，那如何保證不會發生「手術成功，病人死亡」的事情呢？若製造出ASI，到時它失控，人類有什麼方法應付？

尤考斯基說得好：「Al未必會憎恨人類，但它也不會愛人類。人類是由原子組成，原子可作其他用途。」他認為，人類之於ASI，一如動物之於人類。許多動植物絕種，因為人類需要資源（土地或礦物）發展。發明了ASI後，人類需要ASI多過ASI需要人類。若果ASI也像人類般需要發展，會不會因人類阻礙其發展而消滅人類呢？電影《2001太空漫遊》講述太空船上的AI「HAL」，為了完成任務，竟關閉太空船，意圖「殺死」兩名在太空船外的航天員。誰敢保證這樣的事不會發生？就算ASI無意消滅人類，它會不會視人類為奴隸而役之？或視人類為寵物（如人類之視貓狗）般飼養之？ 

不應做LLM奴隸

去年耶魯大學心理學和認知科學教授保羅布盧姆（Paul Bloom, 1963－），曾與學者合寫論文In Praise of Empathetic AI。他指出，現時美國60歲或以上老人，近一半被孤獨所苦，他們孑然一身，沒有知心伴侶，沒有可訴心聲摯友，不時情緒低落。唯一可解寂寥的只是「有同理心的Al」。

布盧姆以自己的經驗作證。有一晚，他嚴重失眠，輾轉反側到深夜3時，也無法入睡。他跟ChatGPT聊天後，心情果然好轉。他亦澄清．ChatGPT並非真的有同理心，它只是給對話者有同理心的印象而已，但對「一場寂寞憑誰訴」的苦主，這已是無上的安慰了！

有了LLM後，在大學和中學教書的朋友告訴我，學生所寫的文章變得有條理，文句通順，文法錯誤極少。師生都心知肚明，這是學生與LLM合作的「產品」，難免質木無文，充滿陳腔濫調，甚至有低級錯誤，如引述無中生有的學者及著作。要給予真實的評分，唯一方法是叫學生來口試，但何來時間跟每個學生口試呢？

今年6月，MIT研究團隊做的調查顯示，用LLM幫助撰寫論文時，用到的神經網絡較狹窄（因不用傷腦筋思考其論述和用字遣詞），少去fact check，經常重複使用同一套用語等等。團隊警告，使用LLM成為習慣，會使人過度依賴LLM，導致「認知負債」（cognitive debt）、減少批判質疑（懶於搜集資料和fact check也）、增加被操控的可能性，以及原創力下降。若LLM令人自以為聰明博學，那為害便更大了！上述也許有點危言聳聽，但決非杞人憂天！

AI研究員會反駁，現時LLM有上述缺點，隨着Al愈來愈聰明，這些缺點便會消失。然則更令人擔心，學生再毋須閱讀、思考和寫作，只須向LLM發出恰當指令！更迫切的是，教師需教導學生做LLM的主人，不要成為LLM的奴隸！