
如果你從事視覺特效工作,並且想要將你的生成影像工作流程提升到一個新的水平,那麼 ComfyUI 就是必備之選。 它的節點式方法、模組化設計以及 FLUX 所增加的強大功能 這使其成為探索從高保真文字到圖像到具有 ControlNet、IP 適配器或 LoRA 訓練的複雜管道等各種內容的理想環境。 ComfyUI for VFX:安裝與 FLUX 工作流程詳解.
在本指南中,您將以有條理的方式找到您需要的一切:ComfyUI 中的工作流程是什麼,如何保存和共享它,如何逐步安裝 FLUX,您需要哪些硬件,以及對最常用流程(Txt2Img、Img2Img、圖像修復、LoRA、ControlNet、NF4、IPAdapter 和潛在縮放)的清晰解釋。 你還會看到諸如 FP8、NF4 或 GGUF 之類的替代方案,它們可以減少顯存佔用。在雲端使用 Flux 的資源,以及針對 Windows 最佳化的 ComfyUI 安裝和實用技巧。
ComfyUI中的工作流程是什麼?
工作流程是將節點連接起來建構的生成過程的可視化表示。 你可以把它想像成一塊類似樂高積木的積木。每個節點執行一個功能(載入模型、編碼文字、取樣、解碼等),連接描述了資訊直到獲得最終圖像所遵循的路徑。
這個生態系非常龐大: 靜態影像、視訊、音頻,甚至3D影像 它們之所以能夠共存,要歸功於開源社群。缺點是存在學習曲線,因為理解每個組件的功能以及如何有效地組合它們以避免瓶頸或結果不一致至關重要。
要快速入門,最好先查看官方和基本流程(text2img 和 img2img),然後再逐步學習更複雜的節點。 社群文件和官方 ComfyUI 範例 它們經常更新,因此很容易恢復或查看隨著新版本而改變的工作流程。
一個重要的細節:ComfyUI 可以將工作流程作為元資料嵌入到最終映像(PNG)本身。 這樣您就可以只分享圖像,並獲取整個圖表。 將其拖回介面。
如何學習和改進工作流程
我的建議是從維基百科類資源和社群圖庫中發布的簡單範例入手。 合乎邏輯的發展路徑是:Txt2Img、Img2Img,然後是 ControlNet 或 LoRa。當你了解了輸入、輸出以及規劃器如何影響取樣之後,加入引導節點、遮罩和其他條件就會變得很自然。
如果您想查看各種拓撲結構,可以存取公共流程庫和包含可重現範例的頁面,從中您可以下載具有元資料或 .json 檔案的圖像。 最佳實務是先導入程序,直接執行,然後遍歷參數。 在不破壞整體的前提下,了解每個模組的影響。
在雲端平台上,您還可以找到預先配置的環境來運行管道,而無需擔心本地依賴項的問題。 其優點在於它們可以預先載入大型節點和模型。但是,建議檢查可用版本和顯存,以確保結果符合預期。
在 ComfyUI 中儲存、匯入和匯出工作流程
ComfyUI 支援兩種主要的保存方式: 帶有元資料的圖像(PNG)或 JSON 文件 圖表。第一種格式最適合在論壇上分享;第二種格式則允許您對文件進行明確控制,以便於版本控制。
要匯入,只需將 PNG 或 Json 檔案拖曳到介面上,或使用快捷鍵 Ctrl (Command) + O。 要匯出,您可以儲存生成的映像,或使用匯出選單匯出 JSON 檔案。壓縮或傳輸影像時要小心:某些壓縮方法和某些通道會刪除元數據,這會導致您遺失嵌入式工作流程。
由於 ComfyUI 的不斷發展, 並非所有舊版 JSON 檔案都能在新版本中正常運作。如果出現問題,請開啟流程,取代過時的節點,或使用相容版本重新安裝相依性;使用 ComfyUI-Manager 可以更快地偵測和解決缺少的元件。
ComfyUI 中的 FLUX:它是什麼以及為什麼重要
FLUX.1 是 Black Forest Labs 推出的一系列模型,專注於高保真文字到圖像的轉換。 其混合架構包含約12億個參數 它針對快速響應、處理複雜場景以及在圖像中生成清晰易讀的文本進行了優化,而其他模型往往難以勝任這項任務。
另一個優點:用途廣泛。 從照片寫實主義到藝術風格FLUX.1 以其視覺一致性和細節表現脫穎而出,包括手部的渲染——這通常是生成式圖形的弱項。它能與 Stable Diffusion 或 Midjourney 等解決方案相媲美也就不足為奇了,它在易用性和品質方面都更勝一籌。
Black Forest Labs 由 Robin Rombach 創立,他是 Stability AI 的核心人物之一。 如果你想親眼看看其官方網站是 blackforestlabs.ai.
FLUX.1 提供三種版本: Pro、Dev 和 SchnellPro 為專業環境提供最高品質的功能;Dev 專為非商業用途設計,兼顧了速度和輕量級;Schnell 注重速度和輕量級,並以 Apache 2.0 授權開源。
FLUX 版本硬體需求
對於 FLUX.1 Pro,建議使用 NVIDIA RTX 4090 型 GPU,配備 24 GB 記憶體它配備 32 GB 記憶體和高速固態硬碟。為了避免出廠設定問題,它使用 FP16 編碼,為了獲得最佳質量,最好使用 FP16 編碼的文字編碼器。
在 FLUX.1 開發版中, RTX 3080/3090,配備 16 GB 記憶體 它在 16 GB 內存和大約 25 GB 磁碟空間的情況下運行良好。它支援 FP16,在某些情況下甚至支援 FP8,具體取決於您的 GPU。
對於 FLUX.1 Schnell, RTX 3060/4060,配備 12 GB 記憶體 8GB 記憶體和 15GB 儲存空間就足夠了。它的設計注重速度,與專業版/開發版相比,性能提升空間有所犧牲。
如果你內存不足,社群也提供了FP8、NF4或GGUF等替代方案。 它們大大減少了所需的顯存。根據流量的不同,配置大小從 6 GB 到 12 GB 不等。
在 ComfyUI 上安裝 FLUX:必要步驟
首先,請確保你使用 最新版本的 ComfyUIFLUX 整合需要經常更新的節點和功能。
下載文字編碼器和 CLIP 編碼器: Clip_l.safetensors 以及兩個 T5 XXL 檔案中的一個,分別是 t5xxl_fp16.safetensors(如果您的顯存/記憶體充足)或 t5xxl_fp8_e4m3fn.safetensors(如果您的預算有限)。將它們放入 ComfyUI/models/clip/ 資料夾中。 如果您使用的是 SD3 Medium,您可能已經擁有這些文件。.
VAE:下載 ae.安全張量 並將其移至 ComfyUI/models/vae/ 目錄。如果您想要更容易找到它,可以將其重新命名為 flux_ae.safetensors。 此VAE改進了最終解碼效果。 這是保證品質的關鍵。
UNET:選擇 Flux1-dev.safetensors 或 Flux1-schnell.safetensors 根據你的記憶,將其放置在 ComfyUI/models/unet/ 目錄下。 有了這些,你就具備了執行 FLUX 流程的基礎。 本地。
ComfyUI 中 FLUX 工作流程的實用指南
使用 FLUX 的 Txt2Img
首先載入元件: UNETLoader、DualCLIPLoader 和 VAELoaderCLIPTextEncode 節點對提示進行編碼;EmptyLatentImage 創建初始潛在圖像;BasicGuider 透過將條件邏輯與 FLUX 的 UNET 結合來指導流程。
選擇採樣器 KSamplerSelect它使用 RandomNoise 產生噪音,並使用 BasicScheduler 定義 sigma 斜坡。 SamplerCustomAdvanced 統一了所有內容:噪音、引導、取樣器、sigma 和潛在噪音。 最後,VAEDecode 將潛在訊號轉換為影像。 使用 SaveImage 指令儲存結果。
使用 FLUX 的 Img2Img
此流程新增了一個起始圖像: 載入圖片 + 圖像縮放 調整大小,並使用 VAEEncode 將其設定為潛在值。提示訊息使用 CLIPTextEncode 進行編碼,並使用 FluxGuidance 調整其強度。 ModelSamplingFlux 控制重新間距和尺寸KSamplerSelect、RandomNoise 和 BasicScheduler 負責採樣。 SamplerCustomAdvanced 將條件與輸入潛在變數合併,VAEDecode 產生輸出。
LoRA with FLUX
若要改進樣式或功能,請新增 LoraLoaderModelOnly 以及 UNETLoader、DualCLIPLoader 和 VAELoader。在對文字進行編碼並套用 FluxGuidance 後,使用 EmptyLatentImage 建立潛在影像,使用 ModelSamplingFlux 定義取樣,然後執行 SamplerCustomAdvanced。 使用 VAEDecode,您可以獲得已經受到 LoRA 影響的圖像。典型範例:flux1-dev 上的 realism_lora.safetensors。
ControlNet 與 FLUX
視覺特效中兩個非常有用的場景:深度和銳利邊緣。對於深度,預處理使用 MiDaS深度圖預處理器載入深度控製網路並使用 ApplyFluxControlNet 應用它。使用 XlabsSampler 產生條件潛在波形,然後 VAEDecode產生影像.
對於 Canny,請使用 CannyEdge預處理器載入 Canny ControlNet 並重複方案:ApplyFluxControlNet → XlabsSampler → VAEDecode。 這種額外的控制可以實現對形狀和構圖的精確控制。.
使用 FLUX 進行影像修復
載入 UNET、VAE 和 CLIP,並準備肯定和否定提示。 LoadAndResizeImage 會載入圖片和遮色片。使用 ImpactGaussianBlurMask 對過渡區域進行平滑處理。 InpaintModelConditioning 結合了條件、圖像和遮罩。配置取樣器、雜訊和 sigma 值後,SamplerCustomAdvanced 會重建遮罩區域。 VAEDecode 始終如一地整合該補丁 和其他人一起。
FLUX NF4
採用 NF4 量化技術,記憶體佔用減少。載入元件 檢查點載入器NF4 並使用基本節點定義高度/寬度。 ModelSamplingFlux 設定參數;EmptySD3LatentImage 建立潛在影像;BasicScheduler 和 RandomNoise 組織去噪過程。 SamplerCustomAdvanced 產生潛在訊號,VAEDecode 將其轉換為圖像。對於縮放而言,UltimateSDUpscale 配合 UpscaleModelLoader 和額外的正面提示,會帶來巨大的不同。
帶有 FLUX 的 iPad 適配器
當您想使用參考影像進行條件反射時,請使用 LoadFluxIPAdapter 和 ApplyFluxIPAdapter 以及 clip_vision_l.safetensors。使用 ImageScale 縮放參考影像,準備提示訊息,並執行 XlabsSampler。 使用 VAEDecode,您可以看到輸出結果受到美學或功能的影響。 參考引導圖。
FLUX 的 LoRA 訓練器
要在 ComfyUI 中直接訓練 LoRa,工作流程包括: FluxTrainModelSelect、OptimizerConfig 和 TrainDatasetGeneralConfigInitFluxLoRATraining 初始化,FluxTrainLoop 執行步驟,FluxTrainValidate 產生週期性驗證。
使用 VisualizeLoss 可以追蹤損失; ImageBatchMulti 和 ImageConcatFromBatch 它們對驗證進行分組;FluxTrainSave 保存檢查點,FluxTrainEnd 關閉進程。如果需要,可以使用 UploadToHuggingFace 將結果上傳到 Hugging Face 並分享。
通量潛在放大器
若要詳細縮放,請使用以下方式定義尺寸: SDXLEmptyLatentSizePicker+ 以及 LatentUpscale 和 LatentCrop 鏈。 LatentCompositeMask 利用 SolidMask 和 FeatherMask 創建的遮罩,將縮放後的潛在影像與原始影像混合。 InjectLatentNoise+ 在 VAEDecode 之前增強細節。最後,使用 ImageSmartSharpen+ 進行微調即可完成整個流程。像 SimpleMath+ 這樣的計算節點有助於調整比例。
其他版本:FP8、NF4 和 GGUF,用於降低顯存佔用
如果資源有限,您還有其他選擇。例如,Comfy.org 提供的 FP8 檢查點以及 Kijai 等作者提供的建議。 允許您使用單一檔案運行 FLUX 在 ComfyUI/models/checkpoints/ 目錄下。建議重新命名或將其拆分到不同的資料夾中,以區分開發版本和 Schnell 版本。
使用 NF4(bitsandbytes),安裝插件 ComfyUI_bitsandbytes_NF4 和使用 flux1-dev-bnb-nf4-v2 在模型/檢查點。與第一版相比,此版本改進了細節。
City96 的 GGUF 量化,以及插件 ComfyUI-GGUF這進一步降低了標準: 下載 FLUX GGUF 模型,即 t5-v1_1-xxl-encoder-gguf 編碼器`clip_l.safetensors` 和 `ae.safetensors` 檔案應分別放置在各自的資料夾中。 6 GB 顯存有一些方便的使用場景。
在雲端和其他資源中使用 FLUX.1
如果您不想安裝任何軟體,可以嘗試使用 FLUX。 擁抱面部空間: FLUX.1-dev y FLUX.1-施奈爾。 同樣在 複製, Mystic.ai o fal.ai. 這些選項對於驗證提示和配置非常有用。 在下載本地模型之前。
如需靈感和現成的工作流程,請查看 ComfyUI 的官方範例 以及類似工作流程圖庫 開放藝術. 請記住,許多圖像都包含元資料。這樣你就可以將它們拖曳到 ComfyUI 中來檢索圖表。
更多資料:收藏集 用於 FLUX 的 LoRA 如 現實主義勞拉 或彙編 XLabs-AIControlNet for FLUX 作為 收藏 y 工會; IP 適配器 en XLabs-AI若要使用低顯存訓練 LoRa,請嘗試 通量健身房 或 Ostris 的 Replicate 訓練器; 有一份適用於 FLUX.1 開發的 DreamBooth 指南 在擴散器倉庫中。
在 Windows 11 上安裝 ComfyUI,效能穩定可靠
如果您想要乾淨俐落的安裝,這是一種行之有效的方法。 它與NVIDIA 40/50系列顯示卡搭配使用效果非常好。 它能幫助你避免常見的錯誤。
1) 從以下位置安裝 NVIDIA 應用程式和 Studio 驅動程式 nvidia.com重啟。 2) 來自 CUDA 工具包 developer.nvidia.com (如果您不使用虛擬環境,則此方法可選但有助於避免 Triton 發出警報)。 3) ffmpeg 從 BtbN 倉庫中,將 C:\ffmpeg\bin 加入 PATH 環境變數。 4) 從此處取得適用於 Windows 的 Git。 git-scm.com5) Python 3.12 x64 蟒蛇網使用 py 啟動器為所有使用者啟動,並新增到環境變數中。
5.5) 如果選擇虛擬環境,請使用下列命令建立它: python -m venv CUVenv 然後使用 CUVenv\Scripts\activate.bat 來啟動它。之後,在虛擬環境中執行任何相關的 pip 或 git 命令。 您的啟動腳本可以啟動環境並執行 ComfyUI。 一次完成。
6) 克隆 ComfyUI git 克隆 https://github.com/comfyanonymous/ComfyUI.git D:\CU7) 進入 D:\CU 目錄,執行 pip install -r requirements.txt。 8) 如果 pip 提示腳本位於路徑之外,請將 Python 腳本路徑新增至系統變數並重新啟動。 9) 安裝 PyTorch CUDA 12.8 使用 `pip install torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128` 安裝 torch。如果出現任何問題,請解除安裝 torch 並使用相同的命令重新安裝。
9 bis) 使用以下方式啟動 ComfyUI python main.py 並開啟 127.0.0.1:8188。10) 使用 pip install -U triton-windows 安裝適用於 Windows 的 Triton。 11) 使用 Sage Attention 2.2 提升注意力: 下載適用於 CP312 的相容輪轂 CU128/Torch2.8使用 pip 安裝,並使用 --use-sage-attention 標誌啟動 ComfyUI。
12) 安裝 ComfyUI-Manager:在 ComfyUI/custom_nodes 目錄下執行 git clone https://github.com/ltdrdata/ComfyUI-Manager comfyui-manager13) 建立一個 boot .bat 文件,其中包含以下幾行:cd D:\CU 和 python main.py --use-sage-attention。 首次啟動時,管理器需要一些時間。; 檢查「管理員」標籤是否出現在介面中。
14) 將範本放入正確的資料夾(checkpoints、clip、unet、vae)中,然後開啟您的流程。 如果工作流程自帶 Sage 節點,且您已使用該標誌啟動工作流程,則可以省略該節點。提示:避免同時執行佔用大量資源的程式;如果虛擬記憶體不足,請配置 Windows 虛擬記憶體;並查看 ComfyUI 程式碼庫中的效能討論。如果收到記憶體警告,請考慮使用單一檔案 FP8 版本。
如果您更喜歡下載手冊,這裡有一份很有用的 PDF 檔案。 此鏈接. 部分指南已修訂,以簡化安裝並提出虛擬環境 (venv)。使用虛擬環境時,請記住始終在該環境中執行 pip 和 git。
使用技巧、相容性和最佳實踐
透過拖放帶有元資料或 JSON 的 PNG 檔案匯入流程,並使用管理器檢查節點版本。 分享圖片時,避免使用會刪除元資料的壓縮方式。如果 JSON 資料損壞,請在新版本中取代過時的節點或安裝相容版本。
據報導,在最近的 ComfyUI 版本中,與各種 FLUX LoRA 配合使用時,功耗較高; 測試 GGUF 或特定裝載機 為了最大限度地減少顯存佔用,在 ControlNet 中,首先使用深度演算法或 Canny 演算法來建立穩定的合成框架。
部署到雲端時,請檢查顯示記憶體和執行佇列。 在本地,快速的固態硬碟和最新的驅動程式至關重要。將你的流程按部分進行文件化:模型載入、條件化、取樣、解碼和後處理。這樣在出現問題時更容易調試。
有了以上所有功能,您現在可以使用 ComfyUI 建立一個真正強大的 VFX 流程: 您是否了解什麼是工作流程以及如何在不丟失元資料的情況下保存工作流程?您可以安裝 FLUX 及其變體(Dev、Schnell 和 FP8、NF4、GGUF 選項),您知道如何運行日常實踐的關鍵工作流程(Txt2Img、Img2Img、圖像修復、ControlNet、LoRA、IPAdapter 和 Upscale),並且您擁有優化的 Windows 來安裝,其中包含 Triton、Sage-d,並且 ComfUI-執行系統以保持最佳狀態和功能。





