Индексатор Яндекса и gzip сжатие страниц

12
stealthy
На сайте с 15.06.2006
Offline
69
1230

Вопрос в том, корректно ли отдавать роботам Яндекса контент, сжатый через gzip или deflate?

Судя по логам, робот (H) запрашивает данные по протоколу HTTP/1.1 указывая возможность принятия gzip/deflate данных. Но после получения сжатых данных он зачем-то перезапрашивает тот же самый URL по тому же протоколу но уже без указания возможности приема сжатых данных.

Непонятно, нужно ли сразу отдавать ему несжатые данные, экономя трафик сервера или ему зачем то нужны обе версии (для сравнения, например)?

Twilight CMS (http://www.twl.ru): есть Free версия, очень проста и удобна в использовании. Консультирую по любым вопросам. Новый спорт - практическая стрельба (http://nikit.in) - не для офисного планктона.
Bor-ka
На сайте с 16.11.2004
Offline
201
#1
stealthy:
Вопрос в том, корректно ли отдавать роботам Яндекса контент, сжатый через gzip или deflate?

если они говорят, что умеют читать сжатый трафик - значит давать.

Сервис полуавтоматического рерайта текста (http://topwriter.ru/)
T.R.O.N
На сайте с 18.05.2004
Offline
314
#2
stealthy:
Непонятно, нужно ли сразу отдавать ему несжатые данные, экономя трафик сервера или ему зачем то нужны обе версии (для сравнения, например)?

Не все страницы перезапрашиваются. По своим логам смотрел.

Все броузеры понимают сжатие, а вот боты не все. Возможно сравнивает для поиска спама.

ИМХО жалко мне рессурс сервака еще и на сжатие.

От воздержания пока никто не умер. Хотя никто и не родился! Prototype.js был написан теми, кто не знает JavaScript, для тех, кто не знает JavaScript (Richard Cornford)
grey109
На сайте с 15.06.2005
Offline
160
#3
stealthy:
Вопрос в том, корректно ли отдавать роботам Яндекса контент, сжатый через gzip или deflate?

Я стараюсь все отдавать в сжатом виде для экономия трафика и увеличения скорости загрузки страницы. Большинство поисковиков понимают сжатие, а вот как раз Яндекс нет - тянет всегде страницы в нормальном виде.

T.R.O.N:
Не все страницы перезапрашиваются. По своим логам смотрел.

Если честно, я что-то не нашел в логах запросов страниц от Яндекса, которые отдавались бы в сжатом виде.

stealthy
На сайте с 15.06.2006
Offline
69
#4
T.R.O.N:
ИМХО жалко мне рессурс сервака еще и на сжатие

Эээ, какой ресурс? Мы один раз жмем страницу и кладем её в кэш, равно как и несжатый вариант. Трафик вот, конечно, будет увеличиваться при двойных запросах.

stealthy
На сайте с 15.06.2006
Offline
69
#5
grey109:
Если честно, я что-то не нашел в логах запросов страниц от Яндекса, которые отдавались бы в сжатом виде.

Я не видел пока своё логирование не прикрутил. В стандартных логах IIS я не уверен что логируется тип передаваемого контента, по-моему там нельзя этот параметр увидеть.

T.R.O.N
На сайте с 18.05.2004
Offline
314
#6
stealthy:
Эээ, какой ресурс? Мы один раз жмем страницу и кладем её в кэш, равно как и несжатый вариант. Трафик вот, конечно, будет увеличиваться при двойных запросах.

У меня нет статических старниц. Частота обновлений - 2-5 раз в час. Иногда чаще. А траф, если говоить о поисковике, то вощем разницы не играет. Всеравно анлимит.

T.R.O.N
На сайте с 18.05.2004
Offline
314
#7
stealthy:
В стандартных логах IIS я не уверен что логируется тип передаваемого контента

Ты можеш в скрипте сам отследить. Если статика, то посмотри по типу запроса. Если яша просит несжаты текст, он уберет в своем запросе , что принимает gzip

stealthy
На сайте с 15.06.2006
Offline
69
#8
T.R.O.N:
У меня нет статических старниц. Частота обновлений - 2-5 раз в час. Иногда чаще. А траф, если говоить о поисковике, то вощем разницы не играет. Всеравно анлимит.

У нас тоже не статических страниц, какая разница? Кэш все равно должен быть.

T.R.O.N:
Ты можеш в скрипте сам отследить. Если статика, то посмотри по типу запроса. Если яша просит несжаты текст, он уберет в своем запросе , что принимает gzip

Ты не понял, я написал выше что именно так и сделали, потому как иначе сделать как - не знаю.

T.R.O.N
На сайте с 18.05.2004
Offline
314
#9
stealthy:
Кэш все равно должен быть.

Кому должен? Не использую вовсе. Сам IIS своими стредствами нормально не создает. Кроме этого работаю под ActiveState Perl. Кеша внешние - не удобно. Кривые они. И какой смысл кешировать страницу на 10-30 минут? Если за это время туда попало 10-50 человек. При этом гемор с кешом больше. Темболее перекешировать 3-10К страниц - не очень притяное занятие.

stealthy
На сайте с 15.06.2006
Offline
69
#10
T.R.O.N:
Кому должен? Не использую вовсе. Сам IIS своими стредствами нормально не создает. Кроме этого работаю под ActiveState Perl. Кеша внешние - не удобно. Кривые они. И какой смысл кешировать страницу на 10-30 минут? Если за это время туда попало 10-50 человек. При этом гемор с кешом больше. Темболее перекешировать 3-10К страниц - не очень притяное занятие.

Ну, никому, конечно не должен :). Но Майкрософт рекомендует кэширование для увеличения производительности в целом. У меня также Activestate Perl под IIS и естественно кэш написан свой. В любом случае, даже если 10-50 генераций страницы избежать - это может быть приличной экономией по производительности, в зависимости от нагрузки на скрипт. "Перекэшировать" 10К страниц не нужно - Вы можете писать в кэш страницы по мере их генерации, что тут сложного? Гемора никакого тоже вроде нет, простой кэш пишется за полчаса с отладкой.

Кстати, если у Вас приложение частно обновляет страницы, то вероятно обновление затрагивает не всю страницу а только определенные части. Так что наверняка есть возможность применять блочное кэширование.

В общем каждый сам решает, что ему выгоднее - кто-то софт оптимизирует, а кто-то просто мощнее железку ставит. Впрочем от основной темы топика мы ушли куда-то в сторону.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий