Nota video

Teks penuh video

Kalau kau nak komputer bercakap macam kau, kau rakam diri kau sebut setiap perkataan dalam kamus, lepas tu cantum satu satu macam main potong tampal. Hasilnya bunyi macam robot tersedak! Tapi ejaan tak selalu sama dengan bunyi, macam perang untuk peperangan dan perang warna rambut!

Jadi, teks dihantar dulu ke mesin penukar yang pecahkan setiap perkataan jadi bata bunyi kecil dipanggil fonem. Ini namanya penukaran grafem ke fonem. Tapi cantuman fonem bunyi mendatar, tiada naik turun nada, tiada jeda, langsung tak macam orang bercakap!

Jadi, rangkaian neural yang dah belajar ribuan jam rakaman meramal nada, tempo dan tekanan, lalu melukis peta bunyi dipanggil spektrogram mel. Ini namanya model akustik neural. Tapi spektrogram cuma gambar frekuensi bunyi, dan speaker tak boleh mainkan gambar!

Jadi, mesin kedua bernama vokoder tukar peta itu jadi gelombang bunyi sebenar, puluhan ribu sampel setiap saat. Ini namanya vokoder neural. Tapi nak tiru suara orang tertentu, takkan nak rakam dia berjam jam lagi!

Jadi, sampel suara beberapa saat sahaja dimampatkan jadi satu bata cap jari suara berisi warna nada, pic dan gaya penutur, lalu disuntik ke dalam model supaya ia bercakap dengan suara itu. Ini namanya speaker embedding dalam voice cloning. Tapi suara klon yang terlalu sempurna boleh disalahguna untuk menipu orang melalui panggilan palsu!

Jadi, sistem yang bertanggungjawab minta kebenaran pemilik suara dan selitkan tanda tersembunyi dalam audio yang telinga tak dengar, tapi pengesan boleh kenal. Ini namanya tera air audio. Tahniah, sekarang kau tahu, teks jadi fonem, fonem jadi spektrogram, spektrogram jadi gelombang, dan cap jari suara bagi identiti.

Inilah asas generative audio di sebalik text to speech dan ei ai suara moden seperti ElevenLabs. Lepas ni nak belajar apa pula?

Siri Teknologi dan AI dalam animasi 3D LEGO (V916-016) oleh KongsikanDotCom. Tonton lagi di