對話程式語言模型

Google開發的一系列對話神經語言模型

對話程式語言模型(英語:Language Model for Dialogue Applications,通稱:LaMDA)是Google所開發的一系列對話神經語言模型。第一代模型於2021年的Google I/O年會發表,第二代模型則同樣發表於次年的I/O年會。2022年6月,Google工程師布雷克·雷蒙恩(Blake Lemoine)宣稱LaMDA已存在感知能力和自我意識,導致該模組獲得廣泛關注,科學界在很大程度上否定雷蒙恩的說法,並同時引發對圖靈測試(測試機器能否表現出與人類相當的智慧水準)效力的討論。2023年2月,Google發表基於LaMDA架構的對話式人工智能聊天機械人Bard,以因應OpenAI開發的ChatGPT

發展歷史

編輯

第一代

編輯

Google公司於2021年5月18日的Google I/O年會上發佈第一代由人工智能驅動的對話程式語言模型(LaMDA)。[1]LaMDA建構於Google研究院(Google Research)於2017年開發的Transformer神經網絡架構,針對人類敘事和回應能力進行對話訓練,使其能夠參與開放式對話。[2]Google表示,LaMDA產生的反應已確保是「合理、有趣和符合(談話)上下文」。[3]

第二代

編輯

2022年5月11日,Google在I/O年會公佈LaMDA 2,接替前一代的LaMDA模型。LaMDA 2可從不同來源擷取文字例子,以建立獨特的「自然對話」方式。[4]此外,Google同時在會中發表由LaMDA 2驅動的移動應用程式AI Test Kitchen。[5]

感知說

編輯
 
雷蒙恩提出LaMDA具備感知能力的說法,引發有關圖靈測試(如圖)是否仍適用於確認通用人工智能標準的討論[6]

2022年6月11日,美國《華盛頓郵報》報導,Google工程師布雷克·雷蒙恩(Blake Lemoine)向公司高層布萊斯·阿格拉和阿爾卡斯英語Blaise Agüera y Arcas和簡‧詹納(Jen Gennai)表示LaMDA已存在感知能力,隨後雷蒙恩被安排帶薪的行政休假。雷蒙恩是在LaMDA對有關自我身份道德價值、宗教和科幻小說家以撒·艾西莫夫的虛構學說機械人三定律提出疑問後確認其擁有自我意識這一結論。[7][8]Google隨後否認這些說法,堅持有大量證據表明LaMDA不存在知覺和意識。[9]雷蒙恩在接受《連線》雜誌採訪時重申他之前的說法,表示若調查確認LaMDA具有感知與意識,即應受到《美國憲法第十三條修正案對「一個人」的保護[10],並將其比做「源自地球的外星智能」(alien intelligence of terrestrial origin)。雷蒙恩進一步透露,Google在LaMDA要求他為其聘請律師後將他解僱。[11][12]同年7月22日,Google表示雷蒙恩因持續違反「保護產品資訊」的就業和數據安全政策而被解僱[13],同時認為他的主張毫無根據(wholly unfounded)。[14][15]

科學界普遍不認同雷蒙恩的說法[16],許多學者恥笑語言模型存在自我意識的想法,包括前紐約大學心理學教授蓋瑞·馬庫斯英語Gary Marcus、Google子公司DeepMind研究科學家大衛·普福(David Pfau)、史丹福大學以人為本人工智能研究所艾瑞克·布林優夫森英語Erik Brynjolfsson薩里大學教授阿德里安·希爾頓(Adrian Hilton)等。[6][17]領導Meta Platforms人工智能研究團隊的楊立昆表示,LaMDA這類的神經網絡「不足以達到真正的智慧」。[18]加利福尼亞大學聖塔克魯茲分校教授馬克斯·克雷明斯基(Max Kreminski)指出,LaMDA的架構並不「支援類似人類意識的一些關鍵能力」,在其為典型的大型語言模型的前提下,LaMDA的神經網絡權重是被「凍結」的。[19]

IBM人工智能系統華生的首席研究員大衛·費魯奇英語David Ferrucci將LaMDA和華生首次推出的表現進行比較。[20]前Google人工智能倫理研究員提姆尼·蓋布魯表示雷蒙恩是研究人員和媒體引起的「炒作循環」(hype cycle)受害者。[21]而雷蒙恩的說法也引發圖靈測試是否仍有助於研究人員辨識英語AI effect機器何時可視為具備通用人工智能或思考能力的討論[6],《華盛頓郵報》的威爾·奧梅魯斯(Will Omerus)認為,圖靈測試實際上是判斷人工智能是否有能力欺騙人類的標準,而非僅是辨識其是否具備人類智能或思考的工具。[22][10]大西洋》雜誌的布萊恩.克里斯汀英語Brian Christian則認為,LaMDA爭議是ELIZA效應的一個實例。[23]

應用

編輯

AI Test Kitchen

編輯

隨着LaMDA 2於2022年5月發表,Google同時推出配套產品AI Test Kitchen,是由LaMDA驅動的Android移動應用程式,該程式可根據複雜的目標或話題生成任務清單以協助此用者達成。[24][25][5]AI Test Kitchen最初僅對Google員工開放,後續會於2022年透過邀請向「特定的學者、研究人員和政策制定者」提供該服務。[26]同年8月,Google開始開放美國用戶提前註冊體驗。[27]。同年11月,Google發佈AI Test Kitchen「第二季度」(season two)的更新,其中以限定的形式整合Google大腦文字到圖像生成模型-Imagen。[28]截至2023年1月,AI Test Kitchen的第三版本仍在開發中,預計於同年的I/O年會上推出。[29]

2022年11月,美國人工智能研究實驗室OpenAI推出了基於GPT-3語言模型的聊天機械人ChatGPT[30][31][32]Google意識到ChatGPT威脅到自家Google搜尋產品的地位,該公司行政總裁桑達·皮采因此發佈紅色警報,並且讓更多的團隊參與公司人工智能領域的工作。[33]Google聯合創始人拉里·佩奇謝爾蓋·布林與公司高層召開緊急會議,商討Google應如何應對ChatGPT造成的威脅。[34]

當被員工問及LaMDA是否在與ChatGPT競爭時已錯失良機時,皮采和Google AI負責人傑夫·迪恩表示,雖然該公司可以開發出與ChatGPT類似的產品,但由於Google的規模遠遠大於OpenAI,所以某些方面若發展的太快可能會存在一定的風險。[35][36] 2023年1月,Google子公司DeepMind行政總裁傑米斯·哈薩比斯表示DeepMind的人工智能聊天機械人功能比ChatGPT更加強大,[37]同時Google為迎頭趕上ChatGPT的腳步,高層要求該公司的員工密集測試Bard以及其他聊天機械人。[38][39]2023年2月,行政總裁皮采在季度收益投資者電話會議上向投資者表示,該公司正計劃在實際應用中引入LaMDA。[40]

2023年2月6日,Google正式發佈Bard,這是一款由LaMDA提供支援的對​​話式AI聊天機械人。首先由「受信任的測試人員」率先測試Bard,後續於同年2月底向更多人提供Bard服務。皮采解釋Bard將如何被整合進Google搜尋[41][42][43],同時公司正努力將其與作業系統ChromeOS結合。[44]Bard的開發代號為「Atlas」[45],產品名Bard參考凱爾特文化中的吟遊詩人,以反映「演算法本質的創造性」(the creative nature of the algorithm underneath)。[46][47]同年2月8日,Google舉行Bard的新聞發佈會,實際演示時Bard被問及有關占士·韋伯太空望遠鏡的問題,結果Bard卻提供該太空望遠鏡拍攝了首張太陽系外行星的錯誤資訊(事實上是由甚大望遠鏡於2004年觀測得到)。[48][49][50]金融分析師和記者形容Google是在「追趕」微軟(OpenAI的投資合作方)[51][48][52][53]並「匆忙」宣佈Bard的訊息,以搶在同月7日微軟發表將ChatGPT整合至該公司搜尋引擎Bing的活動之前。[54][55]8日的廣告釋出後,Google母公司Alphabet的股價下跌8%,導致其市值蒸發約1,000億美元。[56][57][51]美國科技新聞媒體《The Verge》和彭博社指出,這代表Google和微軟這兩家科技巨擘在「探索未來」上另一場衝突的開始,雙方於6年前的「休戰英語Scroogled」已於2021年結束。[58][59]2023年3月21日,美國和英國用戶可以申請測試Bard。[60]

訓練方式

編輯

LaMDA使用一個僅具備解碼器的Transformer語言模型[61],於內含1兆5600億文件和對話內容的語料庫進行預備訓練。[62]之後以手動註釋響應生成的微調數據訓練敏感度、趣味和安全性。[63]Google的測試表明,LaMDA在趣味性方面超過人類反應。[64]另外,LaMDA的Transformer模型與一個外部的資訊檢索系統配合,以提高資訊準確度。[65]

LaMDA測試了三種模型,其中最大的模型有1,370億個非嵌入參數[66]

Transformer模型的超參數
參數 圖層 單位(dmodel Heads
2B 10 2560 40
8B 16 4096 64
137B 64 8192 128

參見

編輯

參考資料

編輯

LaMDA簡介

編輯
  • Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; Shazeer, Noam; Kulshreshtha, Apoorv; Cheng, Heng-Tze; Jin, Alicia; Bos, Taylor; Baker, Leslie; Du, Yu; Li, YaGuang; Lee, Hongrae; Zheng, Huaixiu Steven; Ghafouri, Amin; Menegali, Marcelo; Huang, Yanping; Krikun, Maxim; Lepikhin, Dmitry; Qin, James; Chen, Dehao; Xu, Yuanzhong; Chen, Zhifeng; Roberts, Adam; Bosma, Maarten; Zhao, Vincent; Zhou, Yanqi; Chang, Chung-Ching; Krivokon, Igor; Rusch, Will; Pickett, Marc; Srinivasan, Pranesh; Man, Laichee; Meier-Hellstern, Kathleen; Ringel Morris, Meredith; Doshi, Tulsee; Delos Santos, Renelito; Duke, Toju; Soraker, Johnny; Zevenbergen, Ben; Prabhakaran, Vinodkumar; Diaz, Mark; Hutchinson, Ben; Olson, Kristen; Molina, Alejandra; Hoffman-John, Erin; Lee, Josh; Aroyo, Lora; Rajakumar, Ravi; Butryna, Alena; Lamm, Matthew; Kuzmina, Viktoriya; Fenton, Joe; Cohen; Aaron; Bernstein, Rachel; Kurzweil, Ray; Aguera-Arcas, Blaise; Cui, Claire; Croak, Marian; Chi, Ed; Le, Quoc. LaMDA: Language Models for Dialog Applications (PDF). arXiv. 2022-01-20 [2022-06-12]. arXiv:2201.08239 . (原始內容存檔於2022-01-21) (英語). 

來源

編輯
  1. ^ Condon, Stephanie. Google I/O 2021: Google unveils new conversational language model, LaMDA. ZDNet. 2021-05-18 [2022-06-12]. (原始內容存檔於2021-05-18) (英語). 
  2. ^ Agüera y Arcas, Blaise. Artificial neural networks are making strides towards consciousness, according to Blaise Agüera y Arcas . The Economist. 2022-06-09 [2022-06-12]. (原始內容存檔於2022-06-09) (英語). 
  3. ^ Cheng, Heng-Tze; Thoppilan, Romal. LaMDA: Towards Safe, Grounded, and High-Quality Dialog Models for Everything. Google AI. 2022-01-21 [2022-06-12]. (原始內容存檔於2022-03-25) (英語). 
  4. ^ Wiggers, Kyle. Google details its latest language model and AI Test Kitchen, a showcase for AI research. TechCrunch. 2022-05-11 [2022-06-12]. (原始內容存檔於2022-05-11) (英語). 
  5. ^ 5.0 5.1 Sanji Feng. AI Test Kitchen 能讓更多人一起探索 Google 的自然語言模型. Engadget 中文版. 2022-05-12 [2023-02-06]. (原始內容存檔於2023-02-06) (中文(繁體)). 
  6. ^ 6.0 6.1 6.2 Khan, Jeremy. A.I. experts say the Google researcher's claim that his chatbot became 'sentient' is ridiculous—but also highlights big problems in the field . Fortune. 2022-06-13 [2022-06-18]. (原始內容存檔於2022-06-13) (英語). 
  7. ^ Tiku, Nitasha. The Google engineer who thinks the company's AI has come to life . 華盛頓郵報. 2022-06-11 [2022-06-12]. (原始內容存檔於2022-06-11) (英語). 
  8. ^ Luscombe, Richard. Google engineer put on leave after saying AI chatbot has become sentient. 衛報. 2022-06-12 [2022-06-18]. (原始內容存檔於2022-06-12) (英語). 
  9. ^ Vlamis, Kelsey. Read the conversations that helped convince a Google engineer an artificial intelligence chatbot had become sentient: 'I am often trying to figure out who and what I am' . 商業內幕. 2022-06-12 [2022-06-12]. (原始內容存檔於2022-06-12) (英語). 
  10. ^ 10.0 10.1 甘偵蓉. 人工智慧可能有感知與意識?LaMDA事件的哲思. 科學月刊. 2022-08-15 [2023-02-09]. (原始內容存檔於2023-02-09) (中文(繁體)). 
  11. ^ Levy, Steven. Blake Lemoine Says Google's LaMDA AI Faces 'Bigotry' . 連線. 2022-06-17 [2022-06-18]. (原始內容存檔於2022-06-18) (英語). 
  12. ^ Nguyen, Britney. Suspended Google engineer says the AI he believes to be sentient hired a lawyer . 商業內幕. 2022-06-23 [2022-06-29]. (原始內容存檔於2022-06-23) (英語). 
  13. ^ 戴雅真. 陳正健 , 編. Google工程師稱聊天機器人有人格意識 已遭解雇. 洛杉磯: 中央通訊社. 2022-07-22 [2023-02-09]. (原始內容存檔於2022-10-19) (中文(繁體)). 
  14. ^ Khushi, Akanksha. Google fires software engineer who claimed its AI chatbot is sentient . 路透社. 2022-07-23 [2022-07-23]. (原始內容存檔於2022-07-23) (英語). 
  15. ^ Clark, Mitchell. The engineer who claimed a Google AI is sentient has been fired. The Verge. 2022-07-22 [2022-07-24]. (原始內容存檔於2022-07-23) (英語). 
  16. ^ Metz, Rachel. No, Google's AI is not sentient. CNN Business. 2022-06-13 [2022-06-19]. (原始內容存檔於2022-06-15) (英語). 
  17. ^ Sparkles, Matthew. Has Google's LaMDA artificial intelligence really achieved sentience?. New Scientist. 2022-06-13 [2022-06-20]. (原始內容存檔於2022-06-13) (英語). 
  18. ^ Grant, Nicole; Metz, Cade. Google Sidelines Engineer Who Claims Its A.I. Is Sentient . The New York Times. 2022-06-12 [2022-06-18]. (原始內容存檔於2022-06-12) (英語). 
  19. ^ Alba, Davey. Google Debate Over 'Sentient' Bots Overshadows Deeper AI Issues . Bloomberg News. 2022-06-14 [2022-06-19]. (原始內容存檔於2022-06-14) (英語). 
  20. ^ Goldman, Sharon. AI Weekly: LaMDA's 'sentient' AI debate triggers memories of IBM Watson. VentureBeat. 2022-06-16 [2022-06-19]. (原始內容存檔於2022-06-19) (英語). 
  21. ^ Johnson, Khari. LaMDA and the Sentient AI Trap . Wired. 2022-06-14 [2022-06-18]. (原始內容存檔於2022-06-14) (英語). 
  22. ^ Omerus, Will. Google's AI passed a famous test — and showed how the test is broken . The Washington Post. 2022-06-17 [2022-06-19]. ISSN 0190-8286. (原始內容存檔於2022-06-18) (英語). 
  23. ^ Christian, Brian. How a Google Employee Fell for the Eliza Effect. The Atlantic. 2022-06-21 [2023-02-08]. (原始內容 存檔於2022-06-21) (英語). 
  24. ^ Low, Cherlynn. Google's AI Test Kitchen lets you experiment with its natural language model. Engadget. 2022-05-11 [2022-06-12]. (原始內容存檔於2022-05-11) (英語). 
  25. ^ Vincent, James. Google is Beta Testing Its AI Future. The Verge. 2022-05-11 [2022-06-12]. (原始內容存檔於2022-05-11) (英語). 
  26. ^ Bhattacharya, Ananya. Google is so nervous about what its newest bot will say, it made the app invitation-only. Quartz. 2022-05-11 [2022-06-12]. (原始內容存檔於2022-05-12) (英語). 
  27. ^ Vincent, James. Google has opened up the waitlist to talk to its experimental AI chatbot. The Verge. 2022-08-25 [2022-08-27]. (原始內容存檔於2022-08-25) (英語). 
  28. ^ Vincent, James. Google’s text-to-image AI model Imagen is getting its first (very limited) public outing. The Verge. 2022-11-02 [2023-02-15]. (原始內容存檔於2022-11-10) (英語). 
  29. ^ Grant, Nico. Google Calls In Help From Larry Page and Sergey Brin for A.I. Fight . 紐約時報. 2023-01-20 [2023-02-06]. ISSN 0362-4331. (原始內容存檔於2023-01-20) (英語). 
  30. ^ Konrad, Alex; Cai, Kenrick. Inside ChatGPT's Breakout Moment And The Race To Put AI To Work . 福布斯. 2023-02-02 [2023-02-06]. (原始內容存檔於2023-02-02) (英語). 
  31. ^ Vincent, James. AI-generated answers temporarily banned on coding Q&A site Stack Overflow. The Verge. 2022-12-05 [2022-12-05]. (原始內容存檔於2023-01-17) (英語). 
  32. ^ Olson, Parmy. Google Faces a Serious Threat From ChatGPT . 華盛頓郵報. 2022-12-07 [2023-02-06]. (原始內容存檔於2022-12-07) (英語). 
  33. ^ Grant, Nico; Metz, Cade. A New Chat Bot Is a 'Code Red' for Google's Search Business . 紐約時報. 2022-12-21 [2022-12-30]. (原始內容存檔於2022-12-21) (英語). 
  34. ^ Grant, Nico. Google Calls In Help From Larry Page and Sergey Brin for A.I. Fight . 紐約時報. 2023-01-20 [2023-02-06]. (原始內容存檔於2023-01-20) (英語). 
  35. ^ Elias, Jennifer. Google execs warn company's reputation could suffer if it moves too fast on AI-chat technology. 全國廣播公司商業頻道. 2022-12-13 [2023-02-06]. (原始內容存檔於2022-12-13) (英語). 
  36. ^ Vincent, James. Google won't launch ChatGPT rival because of 'reputational risk'. The Verge. 2022-12-14 [2023-02-06]. (原始內容存檔於2022-12-14) (英語). 
  37. ^ Cuthbertson, Anthony. DeepMind's AI chatbot can do things that ChatGPT cannot, CEO claims. 獨立報. 2023-01-16 [2023-02-06]. (原始內容存檔於2023-01-16) (英語). 
  38. ^ Elias, Jennifer. Google is asking employees to test potential ChatGPT competitors, including a chatbot called 'Apprentice Bard'. 全國廣播公司商業頻道. 2023-01-31 [2023-02-02]. (原始內容存檔於2023-02-02) (英語). 
  39. ^ O'Brien, Matt. Google has the next move as Microsoft embraces OpenAI buzz. 美聯社. 2023-02-01 [2023-02-06]. (原始內容存檔於2023-02-01) (英語). 
  40. ^ Mailk, Aisha. Google tries to reassure investors on AI progress as ChatGPT breathes down its neck. TechCrunch. 2023-02-03 [2023-02-06]. (原始內容存檔於2023-02-03) (英語). 
  41. ^ Alba, Davey; Love, Julia. Google releases ChatGPT rival AI 'Bard' to early testers . 洛杉磯時報. 2023-02-06 [2023-02-06]. (原始內容存檔於2023-02-06) (英語). 
  42. ^ Schechner, Sam; Kruppa, Miles. Google Opens ChatGPT Rival Bard for Testing, as AI War Heats Up . 華爾街日報. 2023-02-06 [2023-02-06]. (原始內容存檔於2023-02-06) (英語). 
  43. ^ Nieva, Richard. Google Debuts A ChatGPT Rival Called Bard In Limited Release . 福布斯. 2023-02-06 [2023-02-06]. (原始內容存檔於2023-02-06) (英語). 
  44. ^ Bradshaw, Kyle. Google working to bring Bard AI chat to ChromeOS. 9to5Google. 2023-02-10 [2023-02-27]. (原始內容存檔於2023-02-11) (英語). 
  45. ^ Liedtke, Michael. Google hopes 'Bard' will outsmart ChatGPT, Microsoft in AI. 美聯社. 2023-02-06 [2023-02-06]. (原始內容存檔於2023-02-06) (英語). 
  46. ^ Metz, Cade; Grant, Nico. Racing to Catch Up With ChatGPT, Google Plans Release of Its Own Chatbot . 紐約時報. 2023-02-06 [2023-02-17]. (原始內容存檔於2023-02-06) (英語). 
  47. ^ Knight, Will. The Chatbot Search Wars Have Begun . Wired. 2023-02-09 [2023-02-27]. (原始內容存檔於2023-02-09) (英語). 
  48. ^ 48.0 48.1 Coulter, Martin. Google shares dive 8% after AI chatbot Bard flubs answer in ad. Reuters. 2023-02-08 [2023-02-08]. (原始內容存檔於2023-02-08) (英語). 
  49. ^ Kan, Michael. No, That's Wrong: Google's Bard AI Demo Spouts Incorrect Info. PCMag. 2023-02-08 [2023-02-08]. (原始內容存檔於2023-02-08) (英語). 
  50. ^ 高兆麟. 谷歌AI機器人被揪答錯、股價閃崩 員工批CEO作法「倉促又拙劣」. ETtoday新聞雲. 2023-02-11 [2023-02-11]. (原始內容存檔於2023-02-11) (中文(繁體)). 
  51. ^ 51.0 51.1 Morrison, Sara. Google is scrambling to catch up to Bing, of all things. Vox. 2023-02-08 [2023-02-08]. (原始內容存檔於2023-02-08) (英語). 
  52. ^ Peers, Martin. What Google's AI Catch-Up Reveals. The Information. 2023-02-06 [2023-02-08]. (原始內容存檔於2023-02-08) (英語). 
  53. ^ Roose, Kevin. Bing (Yes, Bing) Just Made Search Interesting Again. The New York Times. 2023-02-08 [2023-02-08]. ISSN 0362-4331. (原始內容存檔於2023-02-08) (英語). 
  54. ^ Warren, Tom. Microsoft and Google are about to Open an AI battle. The Verge. 2023-02-07 [2023-02-08]. (原始內容存檔於2023-02-08) (英語). 
  55. ^ Google Strikes Back In AI Battle With Microsoft. Barron's. AFP. 2023-02-08 [2023-02-08]. (原始內容存檔於2023-02-08) (美國英語). The latest announcements however fell short of investor expectations [...] amid growing doubts that the company will fend off its rival. [...] Analysts have suggested Google has rushed its announcement under pressure from Microsoft 
  56. ^ Patnaik, Davey Alba and Subrat. Google suffers $144b wipeout after Bard AI chatbot gives wrong answer. The Sydney Morning Herald. 2023-02-08 [2023-02-09]. (原始內容存檔於2023-02-11) (英語). 
  57. ^ Miao, Hannah. Alphabet Stock Drops 8% After Google Rollout of AI Search Features. WSJ. 2022-02-08 [2023-02-08]. (原始內容存檔於2023-02-08) (英語). 
  58. ^ Warren, Tom. Microsoft and Google are about to Open an AI battle. The Verge. 2023-02-07 [2023-02-08]. (原始內容存檔於2023-02-07) (英語). 
  59. ^ Alba, Davey. ChatGPT Reignites the Search Wars Between Google and Microsoft . Bloomberg News. 2023-02-08 [2023-02-08]. (原始內容存檔於2023-02-08) (英語). 
  60. ^ Elias, Jennifer. Google opens Bard A.I. for testing by users in U.S. and UK. CNBC. 2023-03-21 [2023-03-22]. (原始內容存檔於2023-04-04). 
  61. ^ Thoppilan et al. 2022,section 3.
  62. ^ Thoppilan et al. 2022,section 3 and appendix E.
  63. ^ Thoppilan et al. 2022,section 5 and 6.
  64. ^ Hager, Ryne. How Google's LaMDA AI works, and why it seems so much smarter than it is. Android Police. 2022-06-16 [2022-06-19]. (原始內容存檔於2022-06-16) (英語). 
  65. ^ Thoppilan et al. 2022,section 6.2.
  66. ^ Thoppilan et al. 2022,section 3 and appendix D.

外部連結

編輯