Nota video

Teks penuh video

Kalau kau nak mesin faham ayat, kau suruh robot posmen baca satu perkataan demi satu perkataan, sampai hujung ayat dia dah lupa perkataan pertama! Lambat, pelupa pula tu. Tapi komputer langsung tak faham huruf, dia cuma faham nombor!

Jadi, setiap perkataan dipotong jadi token, kemudian ditukar kepada senarai nombor panjang yang mewakili maknanya, supaya perkataan yang maknanya serupa duduk berdekatan. Ini namanya token embedding. Tapi bila semua token masuk kilang serentak supaya laju, susunan ayat pula hilang, Ali tolak Abu dah sama macam Abu tolak Ali!

Jadi, setiap token dicop dengan corak nombor unik ikut kedudukannya dalam ayat. Ini namanya positional encoding. Tapi perkataan bisa boleh bermaksud racun atau mampu, bergantung pada perkataan di sekelilingnya!

Jadi, setiap token hantar soalan bernama Query, padankan dengan label Key token lain, lalu ambil maklumat Value paling relevan untuk kemas kini maknanya. Ini namanya self-attention. Tapi satu pasang mata attention cuma nampak satu jenis hubungan, contohnya tatabahasa, lalu terlepas makna lain!

Jadi, kau jalankan banyak kepala attention secara selari, ada yang fokus pada subjek, ada yang fokus pada nada, kemudian hasilnya digabungkan. Ini namanya multi-head attention. Tapi satu lapisan sahaja terlalu cetek untuk faham logik dan maksud tersirat yang kompleks!

Jadi, kau tambah rangkaian neural feed-forward selepas attention, lalu tindan blok ini berpuluh tingkat dengan jalan pintas residual supaya maklumat asal tak hilang. Ini namanya stacked transformer blocks. Inilah transformer architecture, diperkenalkan dalam kertas kajian Attention Is All You Need pada tahun dua ribu tujuh belas.

Hari ni, ia jadi tulang belakang chatbot ei ai, penterjemah, malah penjana gambar dan kod. Semua bermula dengan satu idea mudah, biar setiap perkataan pandang semua perkataan lain serentak. Lepas ni nak belajar apa pula?

Siri Teknologi dan AI dalam animasi 3D LEGO (V916-003) oleh KongsikanDotCom. Tonton lagi di