Индексжүүлэлт гэдэг нь хайлтын роботоор интернетийн эх үүсвэрт байрлах файлуудыг сканнердах үйл явц юм. Энэ процедур нь сайтыг хайлтын системийн янз бүрийн асуултуудын хайлтын үр дүнд авах боломжтой байхаар хийгддэг. Өнөө үед хамгийн том хайлтын системүүдийн дотор Yandex нь энэхүү сканнерыг өөрийнхөөрөө хийдэг.
Зааварчилгаа
1-р алхам
Интернет сайтын индексжүүлэлтийг тусгай автомат програмууд - хайлтын роботууд хийдэг бөгөөд энэ нь World Wide Web дээрх шинэ сайтуудын харагдах байдлыг автоматаар хянаж, интернетэд байрладаг интернет хуудсууд, файлууд болон тэдгээрийн холбоосуудыг нөөц бүр дээр байнга сканнерддаг.
Алхам 2
Скан хийхийн тулд робот нь тухайн сервер дээр нөөцийг байрлуулсан директор руу очдог. Шинэ сайтыг сонгохдоо робот нь бэлэн байгаа эсэхийг нь удирддаг. Жишээлбэл, Yandex нь эхлээд орос хэл дээрх домэйн, орос хэл дээр үүсгэсэн сайтуудыг сканнерддаг, ru, rf, su эсвэл ua, дараа нь бусад бүс рүү шилждэг гэсэн бодол байдаг.
Алхам 3
Робот сайт руу шилжиж, бүтцийг нь сканнердаж, цаашдын хайлтыг харуулсан файлуудыг хайж эхэлнэ. Жишээлбэл, сайтыг Sitemap.xml эсвэл robots.txt гэж сканнердсан байдаг. Эдгээр файлуудыг сканнердах үед хайлтын роботын үйл ажиллагааг тохируулахад ашиглаж болно. Сайтын зургийг (sitemap.xml) ашиглан робот нь нөөцийн бүтцийн талаар илүү нарийвчлалтай ойлголттой болно. Вэбмастер нь хайлтын үр дүнд харуулахыг хүсэхгүй байгаа файлуудыг тодорхойлохдоо robots.txt-ийг ашигладаг. Жишээлбэл, энэ нь хувийн мэдээлэл эсвэл бусад хүсээгүй өгөгдөл байж болно.
Алхам 4
Эдгээр хоёр баримт бичгийг сканнердаж, шаардлагатай зааврыг авсны дараа робот HTML кодыг задалж, хүлээн авсан хаягуудыг боловсруулж эхэлнэ. Анхдагч байдлаар, robots.txt файл байхгүй тохиолдолд хайлтын систем нь сервер дээр хадгалагдсан бүх баримт бичгийг боловсруулж эхэлдэг.
Алхам 5
Баримт бичигт байгаа линк дээр дарахад робот энэ нөөцийг дагаж сканнердахаар дараалал үүсгэсэн бусад сайтуудын тухай мэдээллийг мөн авдаг. Сайт дээрх сканнердсан файлуудыг текстийн хуулбар, Yandex мэдээллийн төвүүдийн сервер дээр бүтэц болгон хадгалдаг.
Алхам 6
Дахин скан хийх хэрэгцээг роботууд автоматаар тодорхойлдог. Програм нь индексжүүлэлтийг дахин хийх үед одоо байгаа хайлтын үр дүнг сайтын шинэчилсэн хувилбартай харьцуулж үздэг. Хэрэв програмын хүлээн авсан өгөгдөл ялгаатай бол сайтын хуулбарыг Yandex сервер дээр бас шинэчилдэг.
