Кодировка Win-1251

Прошлый год, а не век. У мобильных операторов пределы тех.возможностей / исчезание безлимитных тарифов...

Я верстаю в Notepad2. Только что файл robots.txt открыл в Notepad++, преобразовал и сохранил в utf-8. Закрыл. Затем открыл и в Notepad++, и в Notepad2 - кодировка Windows-1251.

Вы - понятно, вы можете настраивать взаимодействие рабочих программ как угодно, но клиентские браузеры и индексация - это уже несколько другие процессы и если там происходит сбой кодировки (о чём и заявлено по части индексации), то вряд ли подобное положение нужно оставлять на самотёк.

Потому, что у вас по умолчанию выставлен в настройка w1251. Если у вас там просто латинские буквы, то там плевать какая кодировка, всё будет ок. 

С 2005 года все сайты были на  Windows-1251. И работали нормально. Но уже пару лет, как пришлось все перевести на  UTF-8, так как началась какая-то ерунда. И это на сайтах, которые лет так 10 - 15 работали нормально.

То хостинг кодировку побьет (как вообще???) То Яндекс все страницы в поиске выдаст квадратиками со знаками вопроса. Про это писали выше. То какие-то файлы в  UTF-8 открываются как полный бред, но сохраняются при этом нормально.

В общем, чувство, что современные хостинги и ПС как-то и не помнят уже, что  Windows-1251 вообще существует.

Ерунда ещё пошла от браузеров. Не заметили, что сейчас нельзя выбирать кодировку? Да потому, что задолбали эти разные форматы. Ладно бы там w1251, так есть 1252,1253 ещё и другие, а ещё есть koi8-r и всё это надо учитывать.

Поэтому сейчас всё тестируется на UTF-8 и UTF-16, остальные кодировки просто считаются устаревшими и будут вызывать проблемы т.к. боты больше верят ответу сервера в header чем кодировке на странице. А на сервера по стандарту должно стоять UTF-8. Если у вас сайт на w1251 и нет возможности менять header сервера, добропожаловать в ППЦ проблемы.

Также Яндексу вообще не упёрлось менять ответ сервера, а у них всегда UTF-8 ради вашего одного сайта на w1251, это что касается сохранённой копии. Но вроде её уже убирают по тихой т.к. кому оно надо...

Статистика кодировок на сайтах - https://w3techs.com/technologies/history_overview/character_encoding/ms/y

Ну за десятилетие 1251 даже на порядок не уменьшилось. Но в ареале обитанья Яндекса % могут отличаться. Пинайте яндексоидов...

В случае ТС важно не что там отдаёт сервер кэша, а как воспринял индексатор (кракозябры в выдаче или нет).

В ареале яндекса есть вконтакте который вроде как работает в кодировке  windows-1251 и проблем с отображением нет.

Но сам факт того что подавляющее большинство сайтов  на utf-8  работают, то лучше сайт перевести на эту кодировку и не переживать о кракозябрах.

Правильнее сказать "поскольку админы не привыкли следить за корректностью всего" спокойней будет с utf-8 

m.vk.com      Content-Type: text/html; charset=utf-8