Вы - понятно, вы можете настраивать взаимодействие рабочих программ как угодно, но клиентские браузеры и индексация - это уже несколько другие процессы и если там происходит сбой кодировки (о чём и заявлено по части индексации), то вряд ли подобное положение нужно оставлять на самотёк.
Само собой.
Цели у них свои сугубо прикладные (например, собрать инфу для внутреннего использования).
Всё верно, только эти товарищи безвредны приходят, шарятся и уходят.
Всплески активно бывают, но это явления эпизодические. Банить весь этот "технический шум" можно и желательно, но это не конкурентные происки, это просто "сборщики инфы".
Нагуливают профили.
Увы, да и не только. Если бот трафик значимо влияет на поведенческие метрики вашего сайта, то его видимость в поиске будет ухудшаться.
Дело в том, что полной и искореняющей проблему решения здесь нет, потому что нагул выполняется как правило мобильных IP адресов под которыми работают также реальные пользователи.
Либо ничего, если значимой просадки в поисковой видимости не происходит, либо активнее развиваться по сайту, темпами развития сайта хотя бы отчасти компенсировать влияние бот трафика. У кого-то получается естественным путём это делать (и бот трафика не оказывает явного вреда), кто-то сам намеренно накручивает, чтобы тем самым нивелировать влияние бот активности.
Большинство не делает ничего и приучается с этим как-то жить.
У картинок могут быть подписи.
p.s. Переводите сайт на UTF-8.
Единственное что смущает, гугловский
в utf8
Ну это сам скрипт, а надо проверять результат вывода. Если он обрабатывает текст и выводит его в UTF-8, то могут быть проблемы.
Есть:
DefaultLanguage ru
AddDefaultCharset windows-1251
php_value default_charset "windows-1251"
Угу. Тогда попробуйте сейчас прогнать сайт Xenu и ScreamingFrog-ом, потом посмотрите по заголовкам не вылезают ли там квадратики.
Я помню (лет 8 назад когда ещё приходилось работать с сайтами на w1251) было несколько шаред хостингов которые по-умолчанию жёстко выставляли UTF-8 и никакие meta-charset не помогали указать клиентскому браузеру на устаревшую кодировку. Запись AddDefaultCharset WINDOWS-1251 как раз помогала с этим справиться.
Но вообще уже давно нужно переходить на UTF-8 без вариантов и костылей.
Если почти все, но не все, то вероятно фактические данные внесены в одной кодировке, а в метатеге указывается другой.
Проверьте, указана ли в файле htaccess запись:
AddDefaultCharset WINDOWS-1251
если нет, то внесите (это принудительное указание серверу выводить данные в выбранной кодировке).
А потом откройте страницы и просмотрите (кодировку браузеры переключите автоопределение). Если на каких-то страницах будут квадратики, значит там используются записи в отличной от базовой кодировки.
Можно рассчитать приблизительно прогноз трафика при средних конкурентных показателях.
Но это не значит, что для целевого сайта будет доступен рассчитанный трафик.
