Perkembangan AI generatif membuat proses membuat gambar dan video semakin mudah. Salah satu aplikasi yang menarik untuk digunakan adalah ComfyUI, sebuah platform open source yang memungkinkan pengguna menjalankan berbagai model AI melalui sistem workflow berbasis node.
Berbeda dengan aplikasi AI yang hanya menyediakan kotak prompt dan tombol Generate, ComfyUI memberikan kontrol yang jauh lebih detail. Pengguna dapat menentukan bagaimana sebuah gambar atau video diproses dari awal sampai menghasilkan output akhir.
ComfyUI saat ini dapat digunakan untuk berbagai kebutuhan generatif, termasuk gambar, video, audio, dan 3D, tergantung model serta workflow yang digunakan.
ComfyUI adalah aplikasi generative AI berbasis node dan workflow. Setiap proses dalam pembuatan konten direpresentasikan sebagai sebuah node.
Node tersebut kemudian dihubungkan menggunakan garis untuk menentukan alur pemrosesan.
Misalnya dalam workflow sederhana untuk membuat gambar, pengguna dapat memiliki alur seperti:
Model → Prompt → Sampler → VAE → Gambar
Setiap bagian memiliki tugas masing-masing.
Model menyediakan kemampuan AI, prompt memberikan instruksi, sampler menjalankan proses generasi, VAE mengubah data menjadi gambar, kemudian hasil akhirnya disimpan sebagai file gambar.
Konsep ini membuat pengguna dapat melihat dan mengontrol proses generasi secara lebih jelas dibandingkan antarmuka AI yang hanya menyediakan satu tombol Generate. Dokumentasi resmi ComfyUI juga menjelaskan bahwa aplikasi ini menggunakan canvas visual untuk membuat, menjalankan, dan mengedit workflow.
Node merupakan bagian paling penting dari ComfyUI.
Bayangkan setiap node sebagai sebuah komponen yang mempunyai tugas tertentu. Ada node untuk memuat model, membaca prompt, melakukan sampling, mengatur gambar, menggunakan ControlNet, melakukan upscale, hingga menghasilkan video.
Node-node tersebut dapat disambungkan sesuai kebutuhan.
Keuntungan pendekatan ini adalah pengguna dapat membuat workflow sederhana maupun sangat kompleks tanpa harus menulis kode untuk setiap proses.
Workflow adalah rangkaian node yang sudah disusun untuk melakukan tugas tertentu.
Contohnya, pengguna dapat membuat workflow khusus untuk:
Text-to-image
Image-to-image
Inpainting
Upscaling
ControlNet
LoRA
Membuat gambar menjadi video
Menghasilkan video dari prompt
Mengolah audio
Workflow 3D
Workflow tersebut dapat disimpan dan digunakan kembali.
ComfyUI juga mendukung penyimpanan workflow dalam format JSON sehingga workflow dapat dibagikan kepada pengguna lain. Bahkan workflow tertentu dapat dimuat kembali dari file hasil generasi yang mendukung informasi workflow.
ComfyUI memang sangat populer di kalangan pengguna Stable Diffusion, tetapi kemampuannya tidak terbatas pada Stable Diffusion.
ComfyUI sekarang diposisikan sebagai engine generative AI yang modular dan mendukung berbagai model open source. Dokumentasi resminya mencakup workflow untuk gambar, video, audio, dan 3D.
Artinya, ComfyUI dapat digunakan sebagai lingkungan untuk berbagai model AI selama tersedia workflow dan node yang sesuai.
Pengguna dapat memasukkan prompt untuk menghasilkan gambar berdasarkan deskripsi.
Misalnya:
a futuristic city at night, cinematic lighting, highly detailed
Model kemudian memproses prompt tersebut dan menghasilkan gambar.
ComfyUI juga dapat digunakan untuk image-to-image. Pengguna memasukkan gambar kemudian memberikan instruksi perubahan.
Teknik ini dapat digunakan untuk mengubah gaya gambar, memperbaiki bagian tertentu, atau menghasilkan variasi baru.
Inpainting memungkinkan pengguna mengubah bagian tertentu dari sebuah gambar.
Misalnya, pengguna dapat memilih area wajah, pakaian, atau objek tertentu kemudian meminta AI menggantinya tanpa harus membuat seluruh gambar dari awal.
ComfyUI mendukung workflow untuk meningkatkan resolusi gambar menggunakan berbagai model upscaling.
Hal ini berguna ketika gambar hasil generasi memiliki resolusi kecil tetapi ingin digunakan untuk kebutuhan yang lebih besar.
ControlNet dapat digunakan untuk memberikan kontrol tambahan terhadap hasil generasi.
Dengan teknik ini, pengguna dapat mempertahankan struktur tertentu seperti pose, bentuk, garis, atau komposisi sambil tetap menggunakan model generatif untuk menghasilkan tampilan akhir.
Salah satu alasan ComfyUI semakin menarik adalah dukungannya terhadap workflow video.
Dengan model dan node yang sesuai, pengguna dapat membuat video dari gambar maupun menghasilkan video menggunakan model AI tertentu.
Karena proses video membutuhkan lebih banyak komputasi dibandingkan gambar tunggal, workflow video biasanya lebih kompleks dan membutuhkan perangkat keras yang lebih kuat.
Selain node bawaan, ComfyUI juga dapat diperluas menggunakan custom node.
Custom node adalah tambahan yang dibuat oleh komunitas atau pengembang untuk menambahkan fungsi baru ke ComfyUI.
Misalnya, sebuah workflow membutuhkan node tertentu yang tidak tersedia pada instalasi standar. Pengguna dapat memasang custom node yang menyediakan fungsi tersebut.
ComfyUI juga memiliki ComfyUI-Manager yang dirancang untuk membantu memasang, memperbarui, dan mengelola custom node.
Namun, pengguna sebaiknya berhati-hati ketika memasang custom node dari sumber yang tidak dikenal.
Tidak selalu.
Salah satu kelebihan ComfyUI adalah dapat dijalankan secara lokal di komputer. Dokumentasi resmi menyebut ComfyUI dapat berjalan secara lokal dan core-nya dapat digunakan secara offline.
Internet biasanya diperlukan ketika pengguna ingin:
Mengunduh ComfyUI.
Mengunduh model AI.
Mengunduh custom node.
Memperbarui aplikasi.
Menggunakan layanan atau API online tertentu.
Setelah model dan komponen yang diperlukan tersedia, proses generasi lokal dapat dilakukan tanpa harus mengirim setiap gambar ke server online.
Ya.
Ini sering membuat pengguna baru mengira ComfyUI merupakan website.
Sebenarnya ComfyUI dapat berjalan sebagai aplikasi lokal, sementara antarmukanya ditampilkan melalui browser. Pada instalasi lokal, pengguna mengakses server ComfyUI yang berjalan di komputer sendiri.
ComfyUI juga sekarang tersedia dalam beberapa bentuk, termasuk aplikasi desktop untuk Windows dan macOS, Windows Portable, instalasi manual, serta layanan cloud resmi.
Jadi, ComfyUI bukan sekadar website AI. Ia dapat dijalankan secara lokal di perangkat pengguna.
Untuk pemula, tampilan ComfyUI memang terlihat lebih rumit dibandingkan aplikasi AI yang hanya memiliki kolom prompt.
Hal tersebut terjadi karena pengguna akan melihat banyak node dan koneksi.
Namun, pengguna tidak harus langsung membuat workflow dari nol.
Cara paling mudah adalah menggunakan workflow yang sudah tersedia. Setelah memahami fungsi setiap node, pengguna dapat mulai mengubah prompt, model, parameter, dan koneksi sesuai kebutuhan.
Lama-kelamaan pengguna dapat membuat workflow sendiri.
Beberapa keunggulan utama ComfyUI antara lain:
Workflow dapat dikustomisasi secara detail.
Mendukung berbagai model AI.
Dapat dijalankan secara lokal.
Mendukung custom node.
Workflow dapat disimpan dan dibagikan.
Cocok untuk gambar maupun video.
Dapat digunakan tanpa harus membuat kode untuk setiap workflow.
Memiliki kontrol parameter yang sangat luas.
ComfyUI memang dirancang untuk memberikan kontrol terhadap model, parameter, dan output melalui sistem workflow modular.
Kontrol yang sangat luas juga membuat ComfyUI memiliki kurva belajar yang lebih tinggi.
Pemula mungkin membutuhkan waktu untuk memahami istilah seperti checkpoint, latent, sampler, VAE, LoRA, ControlNet, conditioning, dan berbagai jenis node lainnya.
Selain itu, workflow tertentu membutuhkan model atau custom node tambahan. Jika salah satu komponen tidak tersedia, workflow bisa menghasilkan error.
Kebutuhan perangkat keras juga tergantung pada model yang digunakan. Workflow video dan model berukuran besar umumnya membutuhkan sumber daya yang lebih tinggi dibandingkan workflow gambar sederhana.
ComfyUI cocok untuk pengguna yang ingin memiliki kontrol lebih besar terhadap proses AI generatif.
Aplikasi ini menarik untuk:
Kreator konten.
Desainer.
Pengguna Stable Diffusion.
Pengembang workflow AI.
Pengguna yang ingin membuat gambar dan video AI secara lokal.
Pengguna yang ingin bereksperimen dengan berbagai model generatif.
Untuk pemula, ComfyUI memang membutuhkan sedikit waktu untuk dipelajari. Namun setelah memahami konsep node dan workflow, pengguna dapat membuat proses generasi yang jauh lebih fleksibel.
(0)
