160 доллеров
User-Agent: *
Disallow: /pmk.html
Запрет на индексирование этой страницы от всех поисковиков
Недоглядел, да. 🚬
Скорее всего робот получает одну из из описанных шибок и пытается вернуться, вместо того, чтобы исключать страницы из индекса.
роботу нужно дать четкое указание - либо 404, либо "Disallow: /" - других вариантов не вижу.
Аргументируйте свой комментарий.
robots.txt (в корне сайта на хостинге)
Disallow: /
Подробнее тут: http://help.yandex.ru/webmaster/?id=996567#996571
+1 Правило "хорошего тона", считаю что так будет правильнее.
Скинте в ЛС плс:
- урл
- название движка
- где хостится
имхо, достаточно поставить заперт в robots.txt и через пару апов порциями уйдут страницы из индекса.
Заберу за 3000 р.
Я бы предложил оставить выбор за посетителем, слушать приветствие или нет. Техническая реализация уже вопрос второй, а выбор должен быть всегда. )
