бот яндекса понимает gzip или deflate?

все поисковики понимают.. теоретически, но яндекс забирает странички несжатыми(сейчас глянул)

Надо смотреть все заголовки запроса робота к серверу, обычно в запросе есть хеадер, который говорит, что клиент понимает сжатие. Если его нет, тогда не понимает.

Помоему что-то вида

Accept-encoding: gzip

Уж лучше для экономии трафика выдавать заголовки last-modified и отвечать 304 ответом на last-modified запрос ботов, чтобы отучить их от лишних запросов закешированных ими страниц

Vimsite слушайте - он дело говорит. Какая вам разница, бот или бродилка? Если говорит, что акцептует gzip, то и отдавайте gzip. У бота яндекса этого хедера нет, а вот у гугла есть.

Accept: */*

Connection: Keep-alive

Host: www.xxxxx.ru

User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Accept-Encoding: gzip

From: googlebot(at)googlebot.com

Accept: text/html, application/pdf;q=0.1, application/rtf;q=0.1, text/rtf;q=0.1, application/msword;q=0.1, application/x-shockwave-flash;q=0.1, application/vnd.ms-excel;q=0.1, application/vnd.ms-powerpoint;q=0.1

Accept-Language: ru, uk, be, en, *;q=0.01

Connection: Keep-Alive

Host: xxxxx.ru

User-Agent: Yandex/1.01.001 (compatible; Win16; I)

From: webadmin@yandex.ru

Кстати, если сделать чтобы зипованные страницы отдавались не только роботам, а вообще всем посетителям, чьи клиенты понимают сжатие, плюс сделаете как говорит Zlo_606ep, то экономия траффика будет неплохой.

Чем люди хуже роботов, им тоже надо траффик экономить, да и страница быстрее загрузится :)

всем спасибо за ответы,

яндекс как обычно - полное фи:)

хотя бы на боте гугла сэкономить - уже хорошо

по статистике у меня 90% - это IE, у IE по умолчанию передается заголовок Accept-Encoding: gzip, deflate , т.е. ослик понимает оба вида сжатия, так что в общей массе клиенты не будут жрать много трафа

ЗЫ: а идея с 304 интересная, надо будет ее обдумать.

Идея с 304 ответом: вставить в начале файла (шаблона сайта), при условии, что есть страницы, которые не обновляются, и у которых можно указать дату создания (или одной переменной указать дату последнего обновления всего сайта):

$d=дата обновления сайта / страницы (например 2007-01-01 12:00:00)

$lm=gmdate('D, d M Y H:i:s',$d).' GMT';

if(isset($_SERVER['HTTP_IF_MODIFIED_SINCE']))

{

$ims=preg_replace('/;.*$/', '', $_SERVER['HTTP_IF_MODIFIED_SINCE']);

if($ims==$lm)

{

header('HTTP/1.0 304 Not Modified');

exit;

}

}

header('Last-Modified: '. $lm);

Конечно бот понимает сжатие (с яшей непонятки.). Естественно можно все сжимать, если рессурс машины мение ценен чем трафф. Да и выигрыш, не настолько велик, как если выдавать 304 ошибку.

PS что это за хостер такой, который считает исходящий российский траф. Это почти прошлый век.

На данный момент бот яши не понимает gzip и просит в хедерах не сжатый контент, если на его запрос несжатого контента отдать ему зипованный то не удивляйтесь потом выпадению из серпа...

это не хостер, а дедик в америке

там ограничение на 1Т любого трафа в месяц - первый Т бесплатно, а за превышение надо уже платить.

примерно прикинул, с учетом текущего трафа получилось, что надо будет переплатить около 500 баксов, хотя за сам сервер с кучей всяких фич я отдаю всего 154 в месяц

вот и озадачился😕