Это почему это? Ничего глобально не поменялось лет за 5. А не ограничивать ботов - это получить траблы со сканированием - как пить дать.
Потому что Гугл стал считать что имеет право разрешать своему боту индексировать страницу несмотря на запрет в robots.txt. А когда запрещаешь ему включать страницу в индекс метатегом, то он включает дурака и заявлят что его бот не видит страницу с этим метатегом из за запрета в robots.txt.
При таком раскладе проще полностью открыть доступ боту и рулить индексацией метатегами.
Потому что когда делались эти крупные сайты robots.txt ещё работал. Сейчас же нужных ботов лучше никак не ограничивать.
Нормальные регистраторы обычно предоставляют Mail Forwarding. Юзайте его.
На дефолт отдаю 444. А то мало ли чего...
При превышении квоты гугл чётко отдаёт ошибку 429. Другое дело что и ответ 200 не гарантирует приход бота-индексатора.
Кстати, выше кто то говорил что не получает количество ошибок при пакетной отправке. Я использую api на php (вдруг это важно) и все ошибки вполне видно.
Этого я точно не знаю.
Таких ботов уже наверное и нет.
Посмотрел логи за последнюю неделю. Конкретно c 49-м Firefox бродит бот 213.108.2.29 Mozilla/5.0 (Windows NT 6.1; WOW64; rv:49.0) Gecko/20100101 Firefox/49.0
Живых людей с таким юзер-агентом не обнаружено.
По личному опыту, с браузеров типа FireFox 49 ходят в основном боты, владельцы которых настолько тупы, что не обновляют строку юзер-агента.
Почитал про Google Indexing API. Заинтересовало.
Ладно, подключил к сайту. Работает нормально. Ошибок нет.
Смотрю в консоль, страницы всё также не проиндексированы. Смотрю в лог сервера, гуглобот отправленные страницы не посещал.
Смотрю в Google Cloud, квота расходуется.
В том же логе сервера вижу что гуглобот постоянно на сайте, но сканирует другие страницы.
Вывод: Гугл задолбал уже выкатывать неработающие сервисы и нигде не сообщать о их неработоспособности (а он по любому об этом знает).
Зря потраченое время.
Вполне возможно. Но это "скоро" будет ещё не скоро.
