Как вариант, но это не самое лучшее решение.
Наиболее вероятно, что робот пытается перейти на данные страницы по ссылкам с других сайтов или внутренним ссылкам. Если крикнуть на битую ссылку, то там есть закладка откуда ее взял гугл.
Если там есть ссылка сос тороннего сайта, то тогда лучше сделать 301 редирет (чего добру пропадать). Если нет ссылок на данную страницу, то гугл вытаскивает данный адрес из не пойми какого архива (редко, но бывает). В этом случае необходимо настраивать ответ 404
К описанной проблеме данный софт не имеет никакого отношения, но прога полезная, поймал ряд глупых косяков с картинками и ЗДОРОВЫЙ глюк в дополнительном модуле друпала.
Вопрос где искать? и каким инструментом? Если переадресация настрена и работает. Если по левому адресу происходит перекидка 301 редиректом на нормальную?
При этом еще раз объясняю, что старые страницы, которые попали в индекс 12 октября уже выпали.
Редирект я настроил числа 15 октября.
И когда я обнаружил страницу добавленную на сайт в декабре, но имеющую адрес домена третьего уровня, я готов поверить в чудеса.
Если существуют внешние ссылки, то только 301 редирект или просьба к вебмастеру того сайта о снятии ссылок
Если лезут так быстро и систематически, то возможно существование ссылки на этот адрес
с какого-нибудь сайта seo-анализатора и гугл их подсовывает из архива.
Похоже, но не совсем то. Я говорю, что я дождался склейки.
Условно говоря, я 12 октября настроил редирект.
А страницы попавшие в сопли с адресом домена 3-го уровня были добавлены в декабре.
То есть, этот адрес никак не мог существовать.
У меня на сайте google умудряется засунуть в сопли страницы удаленные полтора года назад.
И я хорошо помню как чистил их ручками в гугле.
Я может и тупой, но переадресацию в .htaccess настроить способен.
Если кликнуть проиндексированную ссылку в гугле
типа
site_2.site_1.ru/page ,то попадаешь на site_2.ru/page
Насколько я понимаю, что htaccess плевать на имя робота или браузера.
Могу допустить, что гуглоробот использует curl с запретом переадресации, но маловероятно.
Сейчас еще раз проверил, вообще идет мерцание.
Один раз запросишь : есть страница в индексе, второй раз -нет.
Не въезжаю.---------- Добавлено 08.01.2014 в 19:57 ----------
Спасибо, буду знать.
Вот кто только мне на хостгаторе даст поковыряться в их httpd-vhosts.conf :)
Обновил скрип v0.006.
-Пофиксил мелкие баги
-Добавил в отчеты сортировку и фильтры.
Для обновляющихся. Имеет смысл скопировать скрипты в новую папку, а потом из старой копии скопировать файл конфигурации default/default.php
А мой скрипт чем не подошел?
/ru/forum/829208
