OpenAI去年底推出的ChatGPT後，因為模型驚人的表現引起大眾的關注，日前又再推出GPT-4 語言模型，最大特色是除了文字對話還能輸入圖片讓AI解讀，且解答能力和正確率更是大幅超越以往。面對大型語言模型的到來，中央研究院資訊科學所研究員、國立陽明交通大學教授古倫維提醒，除了應用與技術外，更需要注意模型訓練的資訊來源、安全與偏見問題。
語言模型是怎麼一回事？
古倫維針對近期熱門的大型語言模型（Large Language Models）解釋，「語言」指涉的的不只是文字，而是包括了其他能跟外界溝通與理解的方式，Large Language Models所要處理的就是人類如何對外溝通並接收並有效理解各式資訊。稍微關注人工智慧技術演進的人大概會知道，GPT就是Generative Pre-trained Transformer，近期這一波人工智慧的技術起點就是Transformer；至於ChatGPT則是由Chat加上GPT組合而來。為什麼前面要加上Chat呢？因為語言模型雖然模擬了語言的行為，但並不是特別為了聊天功能而設計，而ChatGPT則特別針對該功能進行訓練。
「語言模型最重要的一個功能就是猜下一個字」古倫維說，語言模型的概念並不是現在才開始發展，自然語言處理的研究者很早就開始發展了，只是規模較小，可能用一些機率模型去模擬人類語言的行為，目的在猜出下一個字會出現什麼，猜得越準的語言模型就越厲害。以「我吃了桌上放了很久的綠色__________ 」這個句子為例，若空格處只能選擇填入「青蛙」或「藥丸」，如果對於語言的理解及考慮不夠周全，模型在僅以機率條件進行判斷的話，比較有可能會選青蛙。因為大部分的文件中，綠色青蛙比起綠色藥丸更常見。
但在Transformer被提出之後，因為訓練的資訊量越來越多，加上能更全面的連結上下文等特性，語言模型的表現也就越來越好。就能理解到上句的關鍵詞為「吃」，並考量到一般人吃青蛙的機會並不多，選擇填入青蛙的機率就比較小。
大型語言模型發展的挑戰與考驗
古倫維形容，目前的ChatGPT就像是一個還沒長大成人的小孩，雖然有自學的能力，但仍需要人類協助判斷與訓練。而對研究者來說，下一步自然語言處理可以發展的研究主題有哪些？她認為，跟人的互動將是重點，例如將既有的產業知識或資料，和語言模型快速結合；或是視覺語言等不同模態的融合技術。雖然目前已經有許多整合模型出現，但進一步的挑戰是讓這些多模態模型在交互協作過程中，與人類工作的模式更相似。
另一方面，大型語言模型雖然在情感分析上已有不錯表現，但在需要借助外界資訊才能判斷的情況下，例如謊言偵測就是個考驗。再者，推理也是目前大型語言模型較弱的部分，例如嘗試找出原因的任務，包括推薦原因解釋、個性化對話都將是重要的研究議題。
那麼，我們是否需要自己的大型語言模型呢？古倫維認為，這必須從「目的」開始思考，如果是為了機密或資料問題，如醫學、使用者等需要被保護的資料考量，就有發展的需要；但如果是為了商用目的，則可以利用其他平台實現。而大型語言模型雖然可以做很多事情，實現許多商業模式，未來的語言模型也可能會是必備的基礎設施。她提醒，大型語言模型的發展將會越來越強大，也可能改變我們的生活，因此，在我們擁抱的科技的同時，也需要注意到一些問題，例如模型在應用上的限制，有些需求在目前仍無法實現；再者是透明度的問題，目前我們仍無法得知模型的資訊是從何而來，提供的資訊是否正確？另外，還有安全（Security）及偏見（Ethics）的議題需要顧慮。
了解更多大型語言模型的應用與可能，請點選連結觀賞影片
全文轉載自鴻海研究院TECH BLOG
鴻海計畫往電動車、數位健康與機器人發展，而這三個領域的技術突破，則是要靠著人工智慧、通訊技術與半導體研發做突破。這就是鴻海著名的 3+3 政策。在這些領域上想要加速，資訊安全與未來新世代算力也會是突破與發展的重點。因此，鴻海研究院 5 大研究所與1個實驗室就包含人工智慧研究所、半導體研究所、新世代通訊研究所、資通安全研究所、量子計算研究所、離子阱實驗室。
- HHRI／鴻海啟用全台業界首座離子阱實驗室 締造量子科技里程碑 - 2023 年 10 月 28 日
- HHRI／AI技術的發展如何影響半導體的發展？專訪鴻海研究院半導體所郭浩中所長 - 2023 年 9 月 23 日
- HHRI／攜手產學界開創新模式 鴻海研究院突破碳化矽半導體技術 - 2023 年 9 月 16 日