Nota video

Teks penuh video

Kalau kau suapkan seluruh internet ke dalam satu robot gergasi lalu terus suruh dia layan pelanggan, kau dah ada pembantu ei ai pintar! Masalahnya, robot tu meniru semua benda, termasuk ayat kasar, gosip dan jawapan mengarut. Tapi model asas cuma pandai meneka perkataan seterusnya, sebab itu bila kau tanya soalan, dia mungkin balas dengan soalan lain pula!

Jadi, manusia tulis ribuan contoh jawapan yang baik, dan model dilatih meniru gaya pembantu yang patuh arahan. Ini namanya supervised fine-tuning. Tapi menulis jawapan sempurna untuk setiap soalan di dunia memang mustahil dan terlalu mahal!

Jadi, model hasilkan beberapa jawapan untuk soalan yang sama, dan manusia cuma susun mana yang paling membantu, jujur dan selamat. Ini namanya human preference ranking. Tapi manusia tak mungkin menilai berjuta jawapan setiap hari tanpa tidur!

Jadi, kau latih satu model hakim berasingan yang belajar daripada susunan manusia tadi, lalu beri markah automatik kepada setiap jawapan baharu. Ini namanya reward model. Tapi markah sahaja tak mengubah otak model, ia perlukan cara untuk belajar daripada markah itu!

Jadi, model cuba menjawab, reward model beri markah, dan algoritma reinforcement learning melaras model sedikit demi sedikit supaya jawapan bermarkah tinggi lebih kerap keluar. Ini namanya pi pi o, atau Proximal Policy Optimization. Tapi model yang licik boleh menipu hakim, contohnya mengulang ayat yang hakim suka sampai jawapannya jadi pelik dan mengarut!

Jadi, setiap kali model menyimpang terlalu jauh daripada versi asalnya, markahnya ditolak sebagai denda supaya ia kekal waras. Ini namanya kei el penalty. Supervised fine-tuning, ranking manusia, reward model, pi pi o dan kei el penalty, inilah resipi yang membantu model seperti ji pi ti jadi lebih membantu, jujur dan selamat.

Tapi ar el eic ef bukan penyelesaian sempurna, dan penjajaran ei ai masih terus dikaji. Tahniah, kau dah faham ar el eic ef! Lepas ni nak belajar apa pula?

Siri Teknologi dan AI dalam animasi 3D LEGO (V916-013) oleh KongsikanDotCom. Tonton lagi di