На дефолт отдаю 444. А то мало ли чего...
При превышении квоты гугл чётко отдаёт ошибку 429. Другое дело что и ответ 200 не гарантирует приход бота-индексатора.
Кстати, выше кто то говорил что не получает количество ошибок при пакетной отправке. Я использую api на php (вдруг это важно) и все ошибки вполне видно.
Этого я точно не знаю.
Таких ботов уже наверное и нет.
Посмотрел логи за последнюю неделю. Конкретно c 49-м Firefox бродит бот 213.108.2.29 Mozilla/5.0 (Windows NT 6.1; WOW64; rv:49.0) Gecko/20100101 Firefox/49.0
Живых людей с таким юзер-агентом не обнаружено.
По личному опыту, с браузеров типа FireFox 49 ходят в основном боты, владельцы которых настолько тупы, что не обновляют строку юзер-агента.
Почитал про Google Indexing API. Заинтересовало.
Ладно, подключил к сайту. Работает нормально. Ошибок нет.
Смотрю в консоль, страницы всё также не проиндексированы. Смотрю в лог сервера, гуглобот отправленные страницы не посещал.
Смотрю в Google Cloud, квота расходуется.
В том же логе сервера вижу что гуглобот постоянно на сайте, но сканирует другие страницы.
Вывод: Гугл задолбал уже выкатывать неработающие сервисы и нигде не сообщать о их неработоспособности (а он по любому об этом знает).
Зря потраченое время.
Вполне возможно. Но это "скоро" будет ещё не скоро.
Прецеденты снятия вечного блока за нарушение авторских прав лично мне неизвестны.
4PDA.ru сейчас пытаются восстановить срок подачи аппеляции и оспорить блокировку. Если получится, то будет прецидент. Следите за новостями. Или следуйте их примеру.
Да, есть такое. Страницы зеркала входят в индекс, а страницы основного сайта исключаются из него в виду недостаточной по мнению гугла каноничности. Неприятная и непонятная фигня.
Тогда будут скриншоты воровать. Опять беда у автора. Как скрыть скриншоты ему не подскажите? :-)