Nota video

Tentang video ini

Cara Bina Enjin Carian Web Skala Global Dari Kosong — dibina langkah demi langkah dalam animasi 3D LEGO.

Kalau kau salin alamat laman web kawan-kawan dalam buku nota poket lalu selak muka surat cari nama, kau dah ada enjin carian internet! Tapi di internet ada lebih 50 bilion laman web yang sentiasa berubah setiap detik—tangan manusia mustahil mampu menyalin semuanya secara manual! Jadi, kau lepaskan ribuan program perisian automatik yang dipanggil labah-labah bot perangkak, Web Crawlers yang melompat dari satu pautan hiperteks ke pautan lain tanpa henti 24 jam sehari untuk mengutip salinan setiap halaman web di dunia.

Ini namanya bot perangkak web teragih, Distributed Web Crawler. Tapi timbunan teks mentah berbilion laman web tersangat besar; jika kau kena baca satu demi satu dokumen bila pengguna taip kata carian, carian akan makan masa berjam-jam! Jadi, kau pecahkan semua perkataan dan bina satu jadual kamus gergasi yang menyenaraikan setiap perkataan bersama senarai nombor ID dokumen yang mengandunginya secara terbalik.

Ini namanya pangkalan data Indeks Songsang, Inverted Index. Tapi bila pengguna cari satu kata kunci, ada 10 juta halaman yang mengandungi kata tersebut; bagaimana nak tahu laman mana yang paling boleh dipercayai dan bukan laman spam penipu? Jadi, kau gunakan algoritma graf matematik yang mengira bilangan dan kualiti pautan dari laman web lain yang mengundi laman tersebut sebagai tanda autoriti dan reputasi tinggi!

Ini namanya algoritma penarafan pautan PageRank. Tapi bila ratusan juta pengguna dari seluruh dunia menekan butang ‘Search’ secara serentak, satu pelayan komputer akan meletup hangus serta-merta! Jadi, pangkalan data indeks itu dibahagikan kepada ribuan serpihan kecil, shards dan disebarkan merentas kluster puluhan ribu pelayan yang diselaraskan oleh pengimbang beban pintar, Load Balancers.

Ini namanya pangkalan data teragih berskala horizontal, Distributed Sharded Database. Terakhir, manusia sering menaip soalan dengan ejaan salah, ayat santai, atau maksud kiasan yang tidak padan dengan kata kunci tepat dalam indeks. Jadi, di hadapan enjin carian kau pasang model kecerdasan buatan pemprosesan bahasa tabii berasaskan seni bina Transformer yang memahami konteks dan niat sebenar pengguna di sebalik soalan mereka!

Ini namanya pemprosesan semantik ei ai bahasa tabii. Sekarang kau dah membina gerbang ilmu pengetahuan terhebat dunia yang menghubungkan berbilion manusia kepada sebarang maklumat di internet dalam masa pecahan saat, macam Google Search! Tahniah, kau dah bina enjin carian bertaraf dunia!

Kalau boleh tahu, lepas ni kita nak bina apa pula?

Siri “Cara Bina … Dari Kosong” (VID-031) oleh KongsikanDotCom. Tonton lagi di