Олон вэбсайт эзэмшигчид нөөцийг индексжүүлэх, хайлтын системээс хасахыг хориглох асуудалтай тулгардаг. Энэ нь ихэвчлэн сайт нь хуучирсан, хамааралгүй болох, хэвлэн нийтлэгч эсвэл зочдод сайтыг сонирхохоо больсон, эсвэл сайт нь хувийн, тэр ч байтугай нууц мэдээллийг агуулдаг тул ихэвчлэн тохиолддог.
Зааварчилгаа
1-р алхам
Хайлтын системээс сайтыг устгах олон арга байдаг.
Хайлтын системээс хайлтын үр дүнг устгах эхний бөгөөд хамгийн хялбар арга бол хуудсыг сайтаас өөрөө устгах эсвэл FTP холболтоор дамжуулан CMS сайтыг бүрэн устгах явдал юм. Хэдэн өдрийн дараа хайлтын систем мэдээллийн санг шинэчилж, хайлтын үр дүнгээс таны нөөцийн холбоосыг устгах болно.
Алхам 2
Вэбмастеруудын дунд сайт, түүний хэсэг, хуудсыг индексжүүлэхээс хамгаалах, ингэснээр хайлтын үр дүнгээс холбоосыг арилгах хамгийн түгээмэл арга бол robots.txt файлыг засах явдал юм.
Код ашиглан индексжүүлэхээс тусдаа хуудсыг хааж болно.
Хэрэглэгч-агент: *
Зөвшөөрөхгүй: /page.html (page.html хуудсыг хаах)
Интернет дээр robots.txt файлд кодыг хэрхэн ашиглах талаар олон зохиогчийн заавар байдаг.
Алхам 3
Хайлтын системээс сайтын хуудсыг устгах гуравдахь арга бол роботуудын мета хаягийг хуудсандаа ашиглах явдал юм. Шошго нь хаягуудын хооронд нуугдсан хуудсын HTML код дээр бичигдсэн байдаг.
Тиймээс, PS сайтыг буцааж индексжүүлсний дараа энэ мета тэмдэг бүхий хуудсууд хайлтаас гарах болно. Энэ аргын сул тал бол орчин үеийн олон сайтууд tpl загваруудыг ашигладаг тул та кодыг хэдэн зуун, магадгүй хэдэн мянган хуудсанд гараар өөрчлөх шаардлагатай болно гэсэн үг юм.
Алхам 4
Хайлтын системээс сайтуудыг устгах дөрөв дэх арга бол X-Robots-Tag толгойг ашиглах явдал юм. Энэ толгойн мөн чанар нь өмнөх мета тагийг ашиглахтай төстэй боловч оруулгыг http толгой хэсэгт байрлуулах ёстой.
X-Robots-Tag: noindex, nofollow
Алхам 5
Хайлтын системээс вэбсайтыг (бүхэлд нь) устгах хамгийн үр дүнтэй арга бол вэбмастерын самбараас хасах явдал юм. Шинэчлэлт хийсний дараа (3-7 хоног) сайтыг хайлтын системд нэвтрэх боломжгүй болно. Вэбмастерын самбарыг Yandex (https://webmaster.yandex.ru/delurl.xml) болон Google (https://webmaster.yandex.ru/delurl.xml) хайлтын системд ашиглах боломжтой.
