Vladimir224, вы больше не фильтр бойтесь, а роскомнадзор☝
А вы попробуйте, возьмите фото со своего сайта, переименуйте и гоу в поиск по картинкам. Думаю сильно удивитесь.
ПС знают что это сквозная.
На один акцептор или на сто?
brunoid, https://devaka.ru/articles/google-plus-links
Или наоборот пьют не падецки.
User-agent: *
Disallow: /add
Disallow: /search?f=*
User-Agent: Yandex
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
А что ещё делали кроме того как добавились в ЯК ?
it-sl, ну если это страницы от старого сайта, которых я так понимаю не существует, зачем вы хотите их запретить в роботсе нового?
Настройте 404, тогда не будет открывать главную. Если страниц не много в индексе и они вас смущают можете вручную удалить их из индекса, а так поисковый робот со временем сам их исключит.
ss.naTpoH, 403 кода там нет?
ss.naTpoH, а какая у вас информация в ЯВ на вкладке исключённые страницы ?
