Nota video

Teks penuh video

Kalau kau nak buat mesin pandai bercakap, kau cuma cedok bata perkataan secara rawak dari baldi besar dan susun ikut suka hati. Hasilnya? Kereta goreng menyanyi dalam peti sejuk semalam!

Tapi komputer langsung tak faham huruf, dia cuma faham nombor! Jadi, setiap ayat dipotong kepada cebisan kecil yang dipanggil token, kadang-kadang satu perkataan penuh, kadang-kadang separuh perkataan, dan setiap token diberi nombor ai di sendiri. Ini namanya tokenization.

Tapi nombor ai di itu kosong tanpa makna, jadi mesin tak tahu kereta lebih rapat dengan lori berbanding pisang! Jadi, setiap token ditukar kepada senarai beratus atau beribu nombor yang meletakkannya dalam peta makna, dan perkataan yang serupa duduk berdekatan. Ini namanya embedding.

Tapi satu perkataan boleh bawa maksud berbeza, macam buku teks dengan buku lali! Jadi, setiap token melihat semua token lain dalam ayat secara serentak dan menimbang mana yang paling penting untuk faham maksud sebenar. Ini namanya self-attention, jantung kepada transformer model.

Tapi mesin baharu ni macam budak yang tak pernah membaca, otaknya masih kosong! Jadi, ia dilatih membaca berbilion ayat dari buku dan internet, meneka token seterusnya berulang kali, lalu membetulkan berbilion parameter setiap kali tekaannya salah. Ini namanya pre-training dengan ramalan token seterusnya.

Tapi model yang cuma pandai menyambung ayat belum tentu menjawab soalan kau dengan berguna dan selamat! Jadi, jurulatih manusia memberi contoh jawapan yang baik dan menilai jawapan model, lalu model ditala supaya lebih membantu. Ini namanya fine-tuning dengan ar el eic ef.

Jadi bila kau taip soalan, model macam ChatGPT pecahkan kepada token, faham konteks dengan attention, kemudian jana jawapan satu token demi satu token ikut kebarangkalian paling sesuai. Ia bukan berfikir macam manusia, tapi meramal corak bahasa dengan sangat hebat, dan kau dah faham cara large language model berfikir! Lepas ni nak belajar apa pula?

Siri Teknologi dan AI dalam animasi 3D LEGO (V916-002) oleh KongsikanDotCom. Tonton lagi di