討論:隨機鸚鵡

未通過的新條目推薦討論

在候選頁的投票結果

• 哪個比喻描述大型語言模型只能根據隨機概率「鸚鵡學舌」？

  隨機鸚鵡條目由ItMarki（討論 | 貢獻）提名，其作者為ItMarki（討論 | 貢獻），屬於「technology」類型，提名於2024年5月22日 11:28 (UTC)。

  • (＋)支持--Banyangarden（留言） 2024年5月23日 (四) 02:18 (UTC)
  • (！)意見：
    1. 真的有必要在引言和正文裡兩次把所有作者的全名都寫上嗎？
    2. 我認為格伯魯和米切爾被Google解僱的事件不應該放在「起源和定義」章節內。弱相關內容。
    3. 一些詞句存在錯譯，例如「2023 AI-related Word of the Year」中的「word」應當取的是廣義的含義（因為Stochastic parrot明顯是個複合詞），不能翻譯為「單詞」，而應該譯為「詞」或「詞語」。

另外，Science News的主編Nancy Shute在該雜誌的一篇文章中提出，真正的鸚鵡，及研究它們的科學家，或許會感到被這個概念冒犯，因為近年的動物智能研究認為一些鸚鵡可能有能力理解一些語言的含義（Real parrots, and the scientists who study them, may take offense at that term. ... Now, scientists are discovering that parrots can do much more, ... and sometimes even understanding what we say.），或許可以添加到「爭論」章節中。 ——🦝Interaccoonale_{（留言・貢獻）} 2024年5月23日 (四) 04:03 (UTC)

• • • 頁面的內容一字不漏取自英維，但是我同意您的建議。 已完成--ItMarki^探討人生 2024年5月23日 (四) 06:03 (UTC)
  • 「哈佛引用格式錯誤：此sfn模板連結並未指向任何有效引用。」—WiTo🐤💬 2024年5月23日 (四) 05:33 (UTC)
    • 已完成--ItMarki^探討人生 2024年5月23日 (四) 06:03 (UTC)
  • 中維一般還是可以做到頁面標題在第一段段首第一個字就出現吧，雖然「在機器學習中，「隨機鸚鵡」（英語：stochastic parrot）是一個理論的比喻...」不是不能接受，但是總給人一種不是非常本地化的感覺？此外(▲)同上，我認為作者全稱不用重複提及，我會如此寫，僅供參考。
    「隨機鸚鵡」（英語：stochastic parrot）是機器學習領域中一個理論的比喻，指大型語言模型雖然能夠生成合理的文句，但其實不能理解所處理的語句。它由蒂默妮特·格伯魯、安傑利娜·麥克米倫-梅傑和瑪格麗特·米切爾在2021年人工智慧研究論文《論隨機鸚鵡的危害：語言模型太大有壞處嗎？🦜》（On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜）中提出。
    以上，由𝘿𝙖𝙧𝙚𝙙𝙚𝙢𝙤𝙙𝙖𝙞𝙨𝙪𝙠𝙞 𝟭𝟭𝟰𝟱𝟭𝟰—好耶~ 书于 2024年5月23日 (四) 13:49 (UTC)
    • 已完成--ItMarki^探討人生 2024年5月23日 (四) 15:14 (UTC)
  • (－)反對，存在諸多生硬的翻譯。一是英文原文來自維基課程教育項目（南加州大學WRIT 340課程作業），諸多敘述質量（先後邏輯，用詞，引用來源選擇）並不高，請查證各種引用文章後寫；二是各類機器學習術語（還有概率論術語，語言學術語）使用不準確。舉例，條目根據的paper「Can Language Models Be Too Big?」被翻譯為「語言模型太大有壞處嗎？」；「環境和金融損失、不可理解性導致的未知而有害的偏見，以及用作欺騙的可能性，又說它們不能明白所學習事物的深層概念」，這段英文wiki原文寫的就不行，請閱讀原paper和引用的MIT Tech Review後再寫，不要直譯wiki原文；「stochastic」這是詞實際上是反映了概率論的背景，在闡述「隨即鸚鵡」該詞時除了提及以前的希臘文定義，也要講明這一點；「機器學習專家林霍爾姆、瓦爾斯特倫、林斯滕和舍恩」，這幾位人只是合寫了一本介紹性的書籍，算不上有影響力的研究者；「法律、[10]語法、[11]敘事、[12]和人文學」這幾類不算是並列關係了；「該論文的作者」，我想英文wiki里指的是這一批引用文章的作者，不是單個論文；Mechanistic Interpretability不叫「機械可理解性」，實際上「Mechanistic refers to the emphasis on trying to understand the actual mecahnisms and algorithms that compose the network」，是機制/機制性的意思；「發現符號算法，模擬大型語言模型的推論過程，藉此將它逆向工程」，英文wiki作者的敘述不清楚，需要參考引用文獻解釋；此參考「Machine Reading, Fast and Slow: When Do Models "Understand" Language?」和敘述不太相關；Othello-GPT的解釋不清楚，「將黑白棋棋盤轉化為線性表達」，直白的話，這個實驗是輸入走棋移動序列，然後模型能推測出是在8x8的棋盤上走的，換句話說，這個模型自己在訓練時隱式地建立了一個8x8的平面模型，以此試圖說明LLM不只是統計數據式的鸚鵡學舌，而是真的理解世界構成；「快捷學習（shortcut learning），即是不使用類似人類的理解，從數據中作出不相關的聯繫」，這段對shortcut learning（捷徑學習）的闡述不清楚，簡單的說應該是使用一些捷徑特徵（像下面舉例中的捷徑詞「不」）進行預測，而不是真正地像人類一樣去理解；「難以分辨隨機鸚鵡和有理解能力的物體」——> 難以分辨隨機鸚鵡式的模型和有理解能力的模型。--桃花影落飛神劍（留言） 2024年5月24日 (五) 17:26 (UTC)
    • 你提出的意見，我大部分都同意，但我還是想說幾句：
      • 我覺得把「can……be too big」翻譯成「xx可以太大嗎」，反而令句子詞不達意。如果你有意見，那我還是直譯好了。
      • 請問「法律、[10]語法、[11]敘事、[12]和人文學」這幾類不算是並列關係了是什麼意思？
      • 「該論文的作者」，我想英文wiki里指的是這一批引用文章的作者，不是單個論文。所附來源的確指的是講隨機鸚鵡的那篇論文。
    • 另外，有人在英維條目修改了一些內容。我可以參考一下。--ItMarki^探討人生 2024年5月25日 (六) 10:17 (UTC)
  • (＋)支持--Benho7599 | Talk 2024年5月28日 (二) 13:29 (UTC)