Фильтр на говносайты

Dmitry V___v
На сайте с 07.12.2006
Offline
286
#51
Str256:
В роботсе, директива Host должна идти после Disallow, а не наоборот. И перед слэшем звёздочку ставить тоже не годится.

Но, самое смешное, что конструкция вида


User-agent: Yandex
Host: site.ru
Disallow: чё-надо-закрыть
Crawl-delay: 1

Воспринимается роботом нормально. Хотя и неправильна.😂

Создание и ведение кампаний Google/Bing/Twitter/FB Ads под USA, Canada, United Kingdom and Australia ( https://searchengines.guru/ru/forum/1028286 ) + жирный линкбилдинг под бурж ( https://searchengines.guru/ru/forum/1028282 )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий