Nota video

Teks penuh video

Kalau kau nak ei ai baca ayat, kau bagi setiap perkataan dalam dunia satu nombor sendiri, sampai perpustakaan kau kena sebesar sebuah bandar! Satu rak, satu perkataan. Tapi bila muncul perkataan baharu macam kongsikanlah, rak kau langsung tiada nombor untuknya!

Jadi, kau pecahkan perkataan kepada huruf, sebab bilangan huruf sedikit dan semuanya sentiasa ada dalam rak. Ini namanya character-level tokenization. Tapi satu ayat pendek kini jadi berpuluh bata huruf, dan model jadi lambat serta susah faham konteks!

Jadi, mesin penyusun kira pasangan bata yang paling kerap duduk bersebelahan, cantumkannya jadi satu bata baharu, dan ulang ribuan kali sampai terbentuk subword macam kongsi dan kan. Ini namanya Byte Pair Encoding, atau bi pi i. Tapi ada emoji, tulisan Jawi dan bahasa lain yang hurufnya tiada dalam rak!

Jadi, setiap aksara dipecah dulu kepada byte, iaitu dua ratus lima puluh enam keping asas, lalu bi pi i bercantum dari situ, maka tiada teks yang tak dikenali. Ini namanya byte-level bi pi i. Tapi komputer langsung tak faham huruf atau subword, ia cuma kira nombor!

Jadi, setiap token dicop dengan nombor unik daripada kamus vocabulary yang biasanya ada puluhan ribu hingga ratusan ribu entri. Ini namanya token ai di. Tapi nombor ai di cuma label, nombor seratus tak semestinya dekat maknanya dengan nombor seratus satu!

Jadi, setiap ai di ditukar kepada senarai ratusan nombor yang dipanggil vektor, supaya token yang sama makna duduk berdekatan, macam nasi lemak dan roti canai. Ini namanya embedding. Sekarang kau tahu, ei ai tak baca perkataan macam kita.

Teks dipecah jadi token dengan bi pi i, dicop token ai di, lalu ditukar jadi embedding sebelum masuk ke otak model bahasa besar. Sebab tu juga had panjang ei ai dikira dalam token, bukan perkataan. Lepas ni nak belajar apa pula?

Siri Teknologi dan AI dalam animasi 3D LEGO (V916-010) oleh KongsikanDotCom. Tonton lagi di