Nota video

Teks penuh video

Kalau kau suruh robot gunting dan tampal gambar dari perpustakaan untuk hasilkan istana atas awan, kau cuma dapat kolaj bersepah yang pelik dan bercantum senget! Tapi cara tampal begini cuma menyalin, tak boleh cipta imej yang belum pernah wujud! Jadi, kau latih robot dengan menabur hingar rawak atas berjuta gambar sedikit demi sedikit, lalu robot belajar meneka hingar itu supaya boleh membuangnya semula langkah demi langkah.

Ini namanya diffusion model. Tapi robot tu mula dari timbunan bata rawak dan langsung tak faham arahan teks kau! Jadi, ayat prompt kau dihantar ke mesin penterjemah yang tukar setiap perkataan jadi deretan nombor bermakna, dipanggil embedding.

Ini namanya text encoder. Tapi robot masih boleh lupa arahan kau masa sedang membersihkan hingar! Jadi, pada setiap langkah, robot menjeling semula embedding prompt dan memberi tumpuan pada perkataan yang paling berkaitan dengan bahagian imej yang sedang dibina.

Ini namanya cross-attention. Tapi membersihkan berjuta piksel satu demi satu terlalu berat dan lambat! Jadi, Stable Diffusion memampatkan imej ke dalam ruang kecil yang padat, buat semua kerja denoising di situ, kemudian penyahkod vi ei i membesarkannya semula jadi gambar penuh.

Ini namanya latent diffusion. Tapi kadang kala hasilnya cantik, tapi tak ikut prompt sepenuhnya! Jadi, model meramal dua kali, sekali dengan prompt dan sekali tanpa prompt, lalu menolak hasil akhir lebih jauh ke arah versi yang ikut prompt.

Ini namanya classifier-free guidance. Ringkasnya, ei ai penjana imej bermula daripada hingar rawak, dipandu oleh teks, dan dibersihkan langkah demi langkah dalam ruang laten sampai jadi gambar baharu yang tak pernah wujud. Stable Diffusion terbuka untuk semua, manakala Midjourney dipercayai menggunakan prinsip diffusion yang serupa dengan resipi latihannya sendiri.

Lepas ni nak belajar apa pula?

Siri Teknologi dan AI dalam animasi 3D LEGO (V916-006) oleh KongsikanDotCom. Tonton lagi di