Лет 5 держу часть доменов в namesilo. Паспорт ещё ни разу не спрашивали.
Если это то, о чём я подумал, то доступ к подобному должен быть запрещён для всех.
Раньше гугл мне ошибками "Проиндесировано несмотря на запрет в robots.txt" не сыпал. Это вот в новой консоли началось.
Ничего умнее как открыть доступ боту в robots.txt для устранения этих ошибок я не придумал. Думаю гугл не настолько туп чтобы постоянно долбиться в запрещённые к индексации метатегом страницы. Тем более что если таких страниц много, то со структурой сайта что то не то.
Это почему это? Ничего глобально не поменялось лет за 5. А не ограничивать ботов - это получить траблы со сканированием - как пить дать.
Потому что Гугл стал считать что имеет право разрешать своему боту индексировать страницу несмотря на запрет в robots.txt. А когда запрещаешь ему включать страницу в индекс метатегом, то он включает дурака и заявлят что его бот не видит страницу с этим метатегом из за запрета в robots.txt.
При таком раскладе проще полностью открыть доступ боту и рулить индексацией метатегами.
Потому что когда делались эти крупные сайты robots.txt ещё работал. Сейчас же нужных ботов лучше никак не ограничивать.
Нормальные регистраторы обычно предоставляют Mail Forwarding. Юзайте его.
На дефолт отдаю 444. А то мало ли чего...
При превышении квоты гугл чётко отдаёт ошибку 429. Другое дело что и ответ 200 не гарантирует приход бота-индексатора.
Кстати, выше кто то говорил что не получает количество ошибок при пакетной отправке. Я использую api на php (вдруг это важно) и все ошибки вполне видно.
Этого я точно не знаю.
Таких ботов уже наверное и нет.
Посмотрел логи за последнюю неделю. Конкретно c 49-м Firefox бродит бот 213.108.2.29 Mozilla/5.0 (Windows NT 6.1; WOW64; rv:49.0) Gecko/20100101 Firefox/49.0
Живых людей с таким юзер-агентом не обнаружено.
