ComfyUI視覺特效教學:逐步指南

  • ComfyUI 為 VFX 提供精細的節點級控制,支援 SD、ControlNet、LoRA 和 SDXL,適用於影像和影片。
  • AnimateDiff、混源影片、LTX Video 和 Wan 2.1 擴展了產生流暢一致影片片段的生態系統。
  • 管理員可以輕鬆安裝/更新節點,並維護具有正確模型和依賴關係的可重現流程。
  • 雲端方案降低了硬體門檻;本地方案提供了最大程度的控制和詳細的原型設計。

舒適用戶界面

如果你想一頭栽進 AI 驅動的圖像和影片創作中,同時又不想失去精細的控制,那麼你來對地方了:ComfyUI 是一個基於節點的介面,可以讓你像搭建樂高積木一樣建立自己的流程。 本指南將從零開始,詳細講解如何在 ComfyUI 中設定視覺特效 (VFX) 工作流程。無論是圖像還是視頻,都不會遺漏任何重要資訊。

除了基礎知識外,我們還將研究文字到影像的轉換流程、影像到影像的轉換流程、影像修復、影像還原、縮放、ControlNet、SDXL、LoRa 和嵌入。 我們將藉助 AnimateDiff、HunyuanVideo、LTX Video 和 Wan 2.1 實現視訊轉型。這包括系統需求、安裝步驟、關鍵參數以及使用快速鍵和節點管理器來提高效率的技巧。如果您不想進行複雜的安裝,我們也會介紹雲端選項。

ComfyUI是什麼?為什麼它非常適合VFX(視覺特效)產業?

ComfyUI 是一個基於節點的穩定擴散圖形使用者介面,可讓您從頭到尾查看和修改資料流。 每個節點執行特定任務(載入模型、文字編碼、取樣、解碼VAE等),並透過電纜連接。 它們分別代表輸入和輸出。這種理念非常適合視覺特效:您可以精確地知道訊號從哪裡進入,在哪裡轉換,以及如何影響最終結果。

與整體式介面相比,ComfyUI 以其透明性和靈活性脫穎而出。 這種自由的代價是更陡峭的學習曲線和一些視覺幹擾。 (每個工作流程的佈局都可以不同),但好處是能夠快速製作原型、準確調試,並以可重現的方式共享工作流程。

ComfyUI 對比 AUTOMATIC1111

許多用戶來自 AUTOMATIC1111,這是穩定擴散的經典。 ComfyUI 在輕量級、透明度和原型設計能力方面均有所提升A1111 的反應較為統一直接,但細節表現力稍遜。如果您想了解其內部運作機制並充分發揮 VFX 的效能,ComfyUI 無疑是您的理想選擇。

第一步和基本控制

與畫布互動很簡單:用滾輪或捏合手勢縮放,拖曳移動,並透過從一個節點的輸出拖曳到另一個節點的輸入來建立連接。 你會看到諸如 Load Checkpoint、CLIP Text Encode、KSampler 或 VAE 之類的模組(節點)。以及代表資料路徑的電纜。

文字轉圖像:基線流程和關鍵節點

標準流程包括載入檢查點、對提示進行編碼、對潛在值進行取樣以及解碼為像素。 這是 ComfyUI 中幾乎所有功能建構的基礎架構。.

使用負載檢查點進行模型選擇

載入檢查點節點提供三個部分:MODEL(噪音預測網路)、CLIP(文字編碼器)和 VAE(用於從像素到潛在值以及反之亦然)。 MODEL 將資料輸入到 KSampler,CLIP 將資料輸入到文字節點,VAE 用於解碼最終結果。沒有檢查點就沒有遊戲,所以要選擇一個與你的工作流程相容的檢查點。

使用 CLIP 文字編碼的正反提示

使用兩個 CLIP 文字編碼節點:上面的節點用於正數,下面的節點用於負數。 文字被轉換成高解析度嵌入圖像,用於指導傳播。你可以透過文法(術語:1.2)賦予詞語權重,從而賦予概念更多或更少的權重。

KSampler產生和參數

KSampler

當您將其放入隊列(隊列提示)時,採樣將開始。 KSampler 控制種子、步長、取樣器、調度器和去噪強度。固定種子可保證可重複性;更多步驟通常會改善細節(但會耗費時間);text2img 中的 denoise=1 應用了完整的噪音去除過程。

空潛在圖像:解析度和批次

“空潛在圖像”節點創建初始潛在畫布。 高度和寬度必須是 8 的倍數。典型尺寸:SD 1.5 為 512/768,SDXL 為 1024。如果希望每次運行產生多張影像,請調整批次大小。

VAE:壓縮和重建

VAE負責像素和潛在變數之間的編碼和解碼。 它提供了效率和可操控的潛在空間,但代價是會產生一些損失或瑕疵。在 text2img 中,你主要會在最後(VAE 解碼)使用它來獲取像素圖像。

影像到影像、SDXL 和修復/去除

圖片逐一呈現

此工作流程結合了提示和基礎圖像。 選擇檢查點,載入影像,查看提示,並調整降噪。 在 KSampler 中決定與原始訊號的偏差程度(降噪越少 = 越接近原始訊號)。

ComfyUI 上的 SDXL

由於其模組化設計,ComfyUI 能夠快速且有效率地支援 SDXL。 準備正面/負面提示,並使用適當的抽樣器啟動流程。記住潛在粒子的最佳解析度(通常為 1024)。

修補

若要修改特定區域,請載入映像,開啟蒙版編輯器,並將蒙版儲存到節點。 此工作流程使用標準模型;如果您使用「修復」檢查點,請使用 VAE 編碼(修復)。 它不使用標準的 VAE 編碼和設定噪音潛在掩碼節點,而是設定提示來描述變更以及典型的降噪強度,例如 0.6。

外塗

使用 Pad Image 進行外繪,突破影像限制:控制左/上/右/下,並進行羽化,實現平滑過渡。 在 VAE 編碼(用於影像修復)中,調整 grow_mask_by 的值(最好大於 10)。 為了獲得更自然、更融合的填充效果。

縮放:像素與潛在縮放

像素放大

像素放大

兩種方法:透過演算法(雙三次、雙線性、最近精確)進行影像放大,或透過模型載入放大模型並進行影像放大(使用模型)。 演算法速度快但精度低;模型耗時更長,通常能提供更詳細的資訊。您可以將外出活動與…結合起來 After Effects 特效包,包含 50 個特效.

潛在升級

所謂的高解析度潛在修復技術直接在潛在空間中進行縮放,從而在重建過程中豐富細節。 它可能與原版略有偏差,速度也較慢,但它增加了資訊。 而不僅僅是拉伸像素。

快速比較

像素放大:速度快,不添加新訊息,可能存在平滑效果。潛在放大:速度較慢, 它能增加細節,但可能會改變原圖。根據具體情況和所需精度進行選擇。

ControlNet:對結構的精細控制

ControlNet 提供邊界、姿態、深度或分割等指導原則,以確保模型尊重結構。 它是一款功能極為強大的視覺特效工具,因為它能夠持續修正構圖和運動。嘗試使用 Linert、Depth 或 OpenPose,並調整強度以平衡保真度和創造力。

ComfyUI 管理員:自訂節點已更新

安裝缺失的節點

如果工作流程要求您沒有的節點,請使用管理員按鈕“管理員”,選擇“安裝缺少的自訂節點”,然後重新啟動 ComfyUI 並重新載入瀏覽器。 這樣可以確保你完全複製共享流程。.

更新節點

在管理器中,檢查更新並按一下「安裝自訂節點」。如果某個軟體包旁邊出現「更新」字樣,請套用更新、重新啟動並重新整理。 保持節點更新可以防止錯誤並提高功能。.

在畫布上尋找節點

雙擊空白畫布開啟節點查找器,然後按名稱新增節點。 這加快了複雜鏈的組裝速度。 無需瀏覽菜單。

嵌入(文字倒置)

舒適用戶界面

若要啟動嵌入,請在肯定或否定提示字元處鍵入 embedding:Name。 將檔案放置在 ComfyUI/models/embeddings 目錄下。 ComfyUI會在找到匹配項時套用它。這是一種強大的方式,可以融入特定的樣式或概念。

嵌入自動補全

安裝 ComfyUI-Custom-Scripts 套件以實現自動完成功能。 啟動後,輸入「embedding:」即可顯示可用的嵌入內容。加快處理大型館藏的工作。

嵌入重量

您可以像對詞語一樣對其進行加權:(嵌入:名稱:1.2)增加影響力,(嵌入:名稱:0.8)降低影響力。 調整權重可以讓你更精細地控制視覺效果。.

LoRA:無需修改 VAE 即可調整樣式

LoRA 修改基礎檢查點的 MODEL 和 CLIP 以引入樣式、字元或對象,同時保持 VAE 不變。 基本流程:選擇檢查點,新增一個或多個 LoRA,查看提示,然後啟動佇列.

多個級聯的LoRA

您可以在同一流程中套用多個 LoRA;它們會按順序組合。 嘗試不同的順序和權重,創造性地混合各種風格 直到達到所需的平衡狀態。

勞拉

節省時間的捷徑和技巧

複製/貼上:按 Ctrl+C、Ctrl+V 和 Ctrl+Shift+V 可貼上並保留已輸入的內容。 按住 Ctrl 鍵選擇多個節點,建立選取框,然後按住 Shift 鍵移動它們。 用於快速佈局。

使用 Ctrl+M 將節點靜音可暫時移除; 按左上角的點即可最小化節點 在大型專案中清理畫布。

生成隊列:Ctrl+Enter。 ComfyUI 僅在輸入發生變化時才重新執行節點; 修復種子,避免重新計算長鏈,節省時間。

PNG 嵌入式流程:將產生的映像拖入 ComfyUI 中,即可從其元資料中擷取工作流程。 這是共享和版本控制管道的絕佳方式。 不會遺失零件。如果您更喜歡透過影片學習,請觀看 10 個突破性的影片教學.

ComfyUI 影片製作:AnimateDiff 逐步教學

AnimateDiff 可讓您從文字、圖像或影片產生序列。 對於使用 NVIDIA 顯示卡的 Windows 系統,10 GB 顯示記憶體是最佳選擇(低解析度或使用 Txt2Vid 時最低要求為 8 GB)。;在要求較高的專案中,使用 2 個 ControlNet 可以預期大約 10 GB 的頻寬。

安裝和依賴項

安裝 Git 以複製節點,安裝 7-Zip 以提取便攜式 ComfyUI。 FFmpeg 是可選的(用於從組合節點打包 GIF/MP4 檔案)如果不在其路徑中,流將繼續產生鬆散的幀。

下載便攜式版 ComfyUI,首次運行時運行 run_nvidia_gpu 進行初始化。 在自訂節點資料夾中,克隆 ComfyUI-AnimateDiff-Evolved、ComfyUI-Manager、ComfyUI-Advanced-ControlNet 和 ComfyUI-VideoHelperSuite。

從管理器安裝「ControlNet 輔助預處理器」和「FizzNodes」。 重啟 ComfyUI 以正確載入所有內容。 並避免導入錯誤。

所需模型

將相容的 SD 1.5 檢查點放入對應的資料夾中,如果需要,也可以放入通用 VAE。 下載運動模組(例如,來自 AnimateDiff、TemporalDiff 或 AD Stabilized Motion 的原始模組) 並將它們複製到您的路徑中。對於 ControlNet,請新增 Lineart、Depth 和 OpenPose(pth/yaml)。

關鍵工作流程:視頻到視頻和文本到視頻

Vid2Vid:使用圖像/視訊輸入節點載入幀目錄,控制 image_load_cap、skip_first_images 和 select_every_nth 以進行持續時間和採樣。 統一上下文選項至關重要:上下文長度約為 16,重疊部分用於保持連續性,並且僅對 Txt2Vid 啟用閉環。.

Txt2Vid:使用主幀節點(沒有圖像載入器),直接從提示符號產生。 在 KSampler 中將 Denoise 設為 1 時,您將獲得完全生成式的效果。非常適合製作富有創意的影片片段。

批次提示調度

FizzNodes 的 BatchPromptSchedule 可讓您為每一幀設定不同的提示。它使用 pre_text 和 app_text 作為通用的頭部和閉包,並定義了“frame: prompt”對。 注意最後一個元素的逗號,它會導致錯誤。; 如果要在間隔之間保留指令,則複製該指令。

採樣和組合設置

ComfyUI for VFX:簡介、安裝與工作流程

影片的 KSampler 需要更多步驟(至少 25 個步驟,最好增加步驟數)。 嘗試使用 Euler_a 採樣器,並根據您的喜好調整 CFG。在 Vid2Vid 中,降低降噪等級以更接近來源視訊片段。合併節點匯出 GIF/MP4 格式:定義幀速率、循環次數、格式以及是否啟用乒乓效果。

實用技巧:降低 ControlNet 對靜態影像的強度,嘗試 OpenPose,使用第二個 KSampler 進行「高解析度」校正。 嘗試使用 Motion LoRA 來豐富特定動作 並謹慎地結合使用 ControlNets。

ComfyUI 中的其他視訊引擎

混源影片(img2vid 字幕引導)

準備一張 512x512 的圖像,並使用 Florence2Run 產生字幕。 使用 StringReplace 將“image/photo/illustration”等詞語替換為“video”。 為了與模型訓練保持一致,使用混源視訊採樣器+封裝器將其轉換為潛在空間,應用 LoRa Select 並使用組合器匯出。

LTX 視訊(LTX 節點管線)

安裝 ComfyUI-LTXVideo 節點和模型(包括 PixArt-XL 編碼器)。 在 CLIP 中寫入提示,使用 EmptyLTXVLatentVideo 創建視頻潛在視頻,並調整 LTXVScheduler。步數越多,品質越高;max_shift、base_shift、stretch 和 terminal 等參數都可以塑造影片片段的動態效果。儲存時請使用 SaveAnimatedWEBP 格式(無損,品質 100),或匯出為其他格式。

Wan 2.1(文字轉影片、影像轉影片、影片轉影片)

ComfyUI 也整合了 Wan 2.1 的流程。 其用途包括 Txt2Vid、Img2Vid 和 Vid2Vid參數控制與先前的管道類似,並且根據用例,在時間一致性方面具有優勢。

動態圖形:分割、深度和混合

對於視訊動態圖形動畫,首先使用 LoadVideoInput,控制 Skip First Frames 和 Select Every Nth Frames,然後使用 ImageScaleToMegapixels 將其縮放到 ~1MP。 此預處理步驟會調整顯存負載和運轉速度。 在這一代中。您也可以查看如何 在 Premiere 中建立標題 整合圖形和鳴謝資訊。

使用 GroundingDINO 和 SAM,透過 GroundingDinoSAMSegment 從文本中分割主題。 使用 GrowMaskWithBlur 放大蒙版,然後使用 MaskToImage 將其轉換為影像。 為了建構更完善的框架。

使用 TimeFeatureNode 建立時間訊號,並使用 FeatureScaler(線性、對數、指數)對其進行調變。 這樣您就可以控制剪輯過程中的深度 (Z) 位移或遮罩位置。 為了獲得更具電影感的效果。

使用 FlexMaskDepthChamber 產生深度相關的重繪蒙版,將主體遮罩、時間訊號和剪輯的深度圖結合。 調整 Z 軸前移/Z 軸後移,以定義任意時刻的活動區域。 並達到逼真的 3D 效果。

在生成階段,載入檢查點,套用 LoRA,配置提示,並在適當情況下新增 ControlNet。 AnimateDiff 會給出幀數;然後使用 RIFE VFI 進行插值,使平滑度加倍。 以及平滑的過渡。

如果要混合通道:產生具有不同指示的多個版本,使用 ImageIntervalSelectPercentage 選擇片段,使用 ImageBlend 混合過渡,並使用 ImageBatchMulti 連接。 最後經過 RIFE VFI 處理後,動畫效果如絲般流暢。 已準備好出口。

ComfyUI 線上和雲端替代方案

Capcut 標誌

如果您不想安裝任何東西,可以使用預先配置了 ComfyUI 的雲端服務,其中包含數百個節點/模型和數十個現成的工作流程。 它們對於快速測試或共享模板的團隊非常有用 無需與當地機構打交道。作為一種快速簡便的替代方案,還有一些資源可供參考。 CapCut中的動畫和視覺效果.

另一個選擇是使用像 Dreamina 這樣的基於雲端的視訊產生器:介面簡單,無需本地 VRAM,20-60 秒即可產生結果。 它還提供高清升頻、幀插值和音軌生成等額外功能。它提供每日免費積分,方便用戶快速上手,對於注重速度而非精細控制的用戶來說,這是一個簡化的選擇。

性能、要求和時間

在本地,ComfyUI 的影像轉視訊功能通常需要 8 到 24 GB 的顯存,具體取決於模型(AnimateDiff、HunyuanVideo、LTX Video)和解析度。 即使在強大的GPU上,一代數據也可能需要10-30分鐘。 如果視訊片段較長,或使用多個 ControlNet 和高通濾波器,則負載會轉移到雲端的供應商。

ComfyUI 的軟體是免費的,但如果你長時間使用,硬體和電力成本就會很高。 雲端服務避免了這筆費用,但代價是需要依賴特定服務並支付費用或積分。評估哪些因素對你的工作流程最有益處。

常見故障排除

如果您看到空錯誤或「不存在」的節點,則可能是您的資料夾中缺少模型或未安裝的依賴項。 請確認每個節點都有其關聯的模型,並使用管理器安裝任何缺少的軟體包。如果您已經將 ComfyUI 用於其他任務,請避免使用衝突的儲存庫。

實現一致視覺特效的最佳實踐

在調整鏈條的各個部分時,鎖定種子以確保結果可重現。 儲存包含工作流程元資料的影像,並標註節點和模型版本在影片中,仔細定義上下文長度和重疊部分,並保持 ControlNets 和 LoRAs 的清晰順序。

根據鏡頭類型和細節級別,有策略地在像素放大和潛在放大之間切換。 在 Vid2Vid 中,降低降噪效果以維持基礎運動。在 Txt2Vid 中,推動步進和取樣器以獲得視覺穩定性。

從管理器整合 ControlNet 預處理器(Canny、深度、OpenPose 等),以擴展您的工具箱。 請記住:在影片拍攝中,ControlNet 強度越低,效果通常越好。避免使用濾鏡,保持自然妝容。

如果您的場景需要字幕指南、不同的時間動態控製或替代流程,請務必了解 HunyuanVideo 和 LTX Video。 Wan 2.1 也增加了 Txt2Vid、Img2Vid 和 Vid2Vid 的可靠選項。 採用一致的參數和具有競爭力的結果。

追求速度和零摩擦的用戶可以選擇線上服務,而需要精準控制和完全可重複性的用戶則會在本地 ComfyUI 中大放異彩。 有了你所看到的這些元素——節點、參數、捷徑和流程——你現在就有了製作一流視覺特效的路線圖。 無論是靜態影像還是影片序列,都能以靈活且可擴展的方式進行處理。

顏色和光效
相關文章:
研究特效:為什麼要投身於視覺特效的世界