Nota video

Teks penuh video

Kalau kau nak jalankan model ei ai lapan bilion parameter kat laptop biasa, kau terus muat turun fail asal dia dan tekan butang mula. Laptop kau terus panas, kipas menjerit, lepas tu beku! Tapi setiap parameter disimpan sebagai nombor enam belas bit, maka model tu perlukan enam belas gigabait memori, melebihi Ram yang tinggal dalam laptop kau!

Jadi, kau bundarkan setiap nombor kepada empat bit sahaja, dan saiz model mengecut kepada sekitar lima gigabait. Ini namanya model quantization. Tapi kalau kau bundarkan semua nombor secara kasar, jawapan ei ai mula merepek sebab perbezaan halus antara nombor hilang!

Jadi, kau bahagikan nombor kepada kumpulan kecil, dan setiap kumpulan simpan faktor skala sendiri supaya ketepatan hampir sama macam asal. Ini namanya quantization berblok. Tapi model yang dah dikecilkan tu bertaburan dalam banyak fail, dengan tetapan tokenizer dan seni bina disimpan berasingan!

Jadi, semua berat, metadata dan tokenizer dibungkus dalam satu fail tunggal yang boleh dipetakan terus ke memori dengan pantas. Ini namanya format ji ji yu ef. Tapi nak jalankan fail tu, kau kena pasang macam-macam pustaka dan taip arahan panjang berjela!

Jadi, kau guna satu alat yang muat turun model dan terus jalankan dengan satu arahan ringkas, siap dengan ei pi ai tempatan. Ini namanya Ollama, pelari el el em tempatan. Tapi laptop biasa tak ada ji pi yu besar, dan memori grafiknya terlalu kecil untuk muat semua lapisan model!

Jadi, sebahagian lapisan diletak dalam ji pi yu dan selebihnya diproses oleh si pi yu, supaya kau guna setiap sumber yang ada dengan cekap. Ini namanya ji pi yu offloading separa. Model ei ai gergasi yang dulu terlalu berat untuk laptop kini boleh berjalan lancar kat meja kau, tanpa internet dan data kau kekal peribadi.

Tahniah, kau dah faham cara quantization, ji ji yu ef dan Ollama meningkatkan kecekapan komputasi! Lepas ni nak belajar apa pula?

Siri Teknologi dan AI dalam animasi 3D LEGO (V916-017) oleh KongsikanDotCom. Tonton lagi di