не нужно. было бы нужно - не было бы камеры...
да брось SeVlad почти наверняка косяк хостера с файловой системой. пока ТС чухался с переносом сайта на его DNS-ax проиндексировался старый мусор от варезника. вот гугел и потрошит эти урлы.
хотя да, может это работа старых доров варезника, если их удалили уже после того как ТС встал на DNS. но бегает то кравлер - значит страницы в индексе, видимо в дополнительном. нестыковка...
ага ага, пока нет, но кравлера посылает на эти урлы гугл не забывает 😂 дело хозяйское...
с гуглом разберитесь как можно быстрее. мало ли, хотя может и пронести. но индекс от мусора очитить надо адназначна..
тут нефиг смотреть. к хостеру бегом скандалить. хотя мало что уже поможет - поезд ушёл, надо разгребать.
в панель вебмастера удалять парнуху и заранее писать покаянное письмо с описанием ситуации...
кравлер ходит по адресам из индекса вашего сайта...
ну для начала Проверка робота Googlebot хотя 66.249.66.* это вроде настоящий. кравлер ходит по списку урлов, ссылки чекает.
3pingvina.net не наводит на мысли какие-нибудь?
киньте в личку урл. интересно...
домен с историей? проверьте...
на домене мог быть сайт до вашего? если да, то бэки остались у гугла на старый сайт на этом домене. с доров, с прогонов, естественные или внутренние - не суть важно + индекс старого сайта, который гугл пытаетеся пререпроверить. в webmaster панели гугла просто удалите из индекса всё старъё по шаблону, по таму же шаблону закройте урлы в robots и всё будет ок...
