Имхо, робот-индексатор - один у поисковика.
Как насчитали такое кол-во?
Или это кол-во запрошенных роботом страниц?
Проблема да-авно решена. Еще со времен "русского апача"...
И выдавайте страницы в нужной юзверю кодировке.
Давно есть и официально! ;)
Но... Видимо ТС не по карману такое.
Думаю с этим справяться, а вот как будут от туда выплывать пойманные - это вопрос.;)
ПХП - это ладно... А вот реального "системщика"...
Вот и приходится Яндексу свои кадры выращивать. С отсевом, имхо, не менее 90%...
Хотя бы "... с опытом работы 2-3 года...",как пишут в вакансиях. ;)
Может быть приведете, в обоснование, статистические, аналитические выкладки и другие конкретные данные?
Не влияет. Проверено.
В Вашей ситуации, если в gzip дело, значит не правильно настроен WEB-сервер.
Для проверки - отключите его.
Первый раз - имхо от структуры сайта...
Плиз, растолкуйте, что есть КОМЕРЧЕСКИЙ и НЕ КОМЕРЧЕСКИЙ запрос с позиции юзверя...
Мнение Яндекса немного другое...
Плиз, тынц пост, где ИМЕННО так я говорил!
Для Вас может быть...
Но Сегалович говорит другое. (См. указанную статью)
