用戶:Benlisquare/Sandbox

/jp/主題曲2

WebM格式文件

  • 視頻:VP8
  • 聲音:Vorbis

原文件來自4chan上的/jp/(日本御宅族文化)貼圖版,採用Creative Commons Attribution 3.0許可協議授權。內容包含日文,英文歌詞。

 
擴散模型所用的去噪過程。

終端用戶微調訓練

編輯
 
演示Stable Diffusion的「超網絡」(英:"Hypernetwork")功能。

為了糾正模型初始訓練的局限性,終端用戶可以選擇實施額外的訓練,以微調生成輸出以匹配更具體的使用情況。有三種方法可以讓用戶對Stable Diffusion模型權重存檔點進行微調:

「嵌入」(Embedding)可以從用戶提供的一些圖像被訓練出來,並允許模型在提示詞​中使用嵌入的名稱時生成視覺上相似的圖像。嵌入是基於2022年臺拉維夫大學的研究人員在英偉達的支持下開發的「文本倒置」(Textual Inversion)概念,其中模型的文本編碼器使用的特定標記的向量表示與新的偽詞相關聯。嵌入可以用來減少原始模型中的偏差,或模仿風格。

「超網絡」(Hypernetwork)是土耳其軟件開發員Kurumuz在2021年創造的一種技術,最初用於調節文本生成的Transformer模型,它能讓Stable Diffusion衍生的文生圖模型​模仿各種特定藝術家的風格,無論原始模型​能否識別此藝術家,通過在較大的神經網絡中的不同點應用一個預訓練的小神經網絡。超網絡將文生圖或圖生圖結果導向特定方向,例如加上藝術風格,當與一個較大的神經網絡結合使用時。它通過尋找重要的關鍵區域來處理圖像(例:眼睛,頭髮),然後在二級潛在空間中修補這些區域。超網絡的一個缺點是它們的準確性相對較低,也有時會產生不可預知的結果。因此,超網絡適用於加上視覺風格或清理人體瑕疵。

DreamBooth是一個深度學習模型,由Google Research波士頓大學的研究人員於2022年開發,可以微調模型以產生與指定主題相關的輸出圖像。