По личному опыту, с браузеров типа FireFox 49 ходят в основном боты, владельцы которых настолько тупы, что не обновляют строку юзер-агента.
Почитал про Google Indexing API. Заинтересовало.
Ладно, подключил к сайту. Работает нормально. Ошибок нет.
Смотрю в консоль, страницы всё также не проиндексированы. Смотрю в лог сервера, гуглобот отправленные страницы не посещал.
Смотрю в Google Cloud, квота расходуется.
В том же логе сервера вижу что гуглобот постоянно на сайте, но сканирует другие страницы.
Вывод: Гугл задолбал уже выкатывать неработающие сервисы и нигде не сообщать о их неработоспособности (а он по любому об этом знает).
Зря потраченое время.
Вполне возможно. Но это "скоро" будет ещё не скоро.
Прецеденты снятия вечного блока за нарушение авторских прав лично мне неизвестны.
4PDA.ru сейчас пытаются восстановить срок подачи аппеляции и оспорить блокировку. Если получится, то будет прецидент. Следите за новостями. Или следуйте их примеру.
Да, есть такое. Страницы зеркала входят в индекс, а страницы основного сайта исключаются из него в виду недостаточной по мнению гугла каноничности. Неприятная и непонятная фигня.
Тогда будут скриншоты воровать. Опять беда у автора. Как скрыть скриншоты ему не подскажите? :-)
Ваш совет помог. Спасибо.
Похожая проблема. Новый сайт изначально отдавал заголовок "x-robots-tag: noarchive". В поиск сайт вошёл с ссылками на сохранённые копии.
Есть какой то костыль чтобы решить эту проблему?
1. Да. В роботс есть параметр host, как зачем
Яндекс игнорирует этот параметр. Уже давно. Можете его удалить.
У меня все картинки на сайтах в jpg. В гуле показывает 100 из 100, в яндексе - 5 из 5.
Для успокоения совести можете сделать оптимизацию картинок и заняться чем то более плодотворным.
