Хайлтын системийн робот нь вэб хуудсыг мөлхөх үүрэгтэй. Хөтөлбөр нь бүх сайтуудын өгөгдлийг автоматаар уншиж, хайлтын системд ойлгомжтой хэлбэрээр бүртгэдэг тул дараа нь систем нь хэрэглэгчдэд хамгийн тохиромжтой үр дүнг харуулах болно.
Чиг үүрэг
Бүх индексжүүлсэн мэдээллийг нийтлэг мэдээллийн санд бүртгэдэг.
Хайлтын робот гэдэг нь автоматаар интернет хуудсуудаар дамжин өнгөрч, шаардлагатай бичиг баримтыг шаардаж, мөлхсөн сайтуудын бүтцийг хүлээн авдаг програм юм. Робот нь сканнердах хуудсыг бие даан сонгоно. Ихэнх тохиолдолд сканнердах сайтууд санамсаргүй байдлаар сонгогддог.
Ботын төрөл
Зохисгүй ажиллагаатай робот нь сүлжээ болон сервер дээрх ачааллыг мэдэгдэхүйц нэмэгдүүлдэг тул нөөцийг ашиглах боломжгүй болдог.
Хайлтын систем бүр робот гэж нэрлэгддэг хэд хэдэн програмтай байдаг. Тэд тус бүр тодорхой функцийг гүйцэтгэж чаддаг. Жишээлбэл, Yandex дээр зарим роботууд RSS мэдээний сувгийг сканнердах үүрэгтэй бөгөөд энэ нь блогуудыг индексжүүлэхэд хэрэгтэй болно. Зөвхөн зураг хайдаг програмууд бас байдаг. Гэсэн хэдий ч хамгийн чухал зүйл бол аливаа хайлтын үндэс суурийг бүрдүүлдэг индексжүүлэх бот юм. Түүнчлэн мэдээллийн тэжээл, үйл явдлын шинэчлэлтийг хайх зориулалттай туслах хурдан робот байдаг.
Скан хийх журам
Агуулгыг мөлхөхөөс урьдчилан сэргийлэх өөр нэг арга бол бүртгэлийн самбараар дамжуулан сайтад нэвтрэх боломжийг бий болгох явдал юм.
Сайтад зочлохдоо програм нь robots.txt зааврын файл байгаа эсэхийг файлын системийг шалгадаг. Хэрэв баримт бичиг байгаа бол баримт бичигт бичсэн удирдамжийг уншиж эхэлнэ. Robots.txt нь сайт дээрх зарим хуудас, файлыг сканнердахыг хориглох эсвэл эсрэгээр нь зөвшөөрөх боломжтой.
Скан хийх үйл явц нь програмын төрлөөс хамаарна. Заримдаа роботууд хуудасны гарчиг, цөөн хэдэн догол мөрийг л уншдаг. Зарим тохиолдолд сканнердах нь HTML тэмдэглэгээнээс хамааран баримт бичгийн туршид хийгддэг бөгөөд энэ нь гол хэллэгийг тодорхойлох хэрэгсэл болж чаддаг. Зарим програмууд нь далд эсвэл мета хаягуудаар мэргэшсэн байдаг.
Жагсаалтад нэмж оруулав
Вэбмастер бүр хайлтын системийг robots.txt эсвэл META хаягаар дамжуулан хуудсуудыг мөлхөхөөс сэргийлж чаддаг. Түүнчлэн, сайт бүтээгч сайтыг индексжүүлэх дараалалд гараар нэмж оруулах боломжтой боловч үүнийг нэмснээр робот хүссэн хуудсаа тэр даруй мөлхөх болно гэсэн үг биш юм. Дараалалд сайтыг нэмэхийн тулд хайлтын системүүд тусгай интерфэйсээр хангадаг. Сайтыг нэмж оруулах нь индексжүүлэх үйл явцыг ихээхэн хурдасгадаг. Түүнчлэн, хайлтын системд хурдан бүртгүүлэхийн тулд вэб анализын систем, сайтын лавлах гэх мэтийг ашиглаж болно.
