Отдать роботу заголовок 304

12
S
На сайте с 15.05.2006
Offline
0
1693

Есть проблема такая - Яндекс жрет трафика много, а сайт у нас хоть и большой по объему, чать контента совсем не обновляется (статьи, закрытый раздел форума).

Так вот хотелось бы что бы Яндекс не индексировал статьи более 1 раза.

Обратился с этой проблемой к администрайции Яндекса, они сказали нужно что бы сервер на этих страничках отдавал заголовок 304.

Делается это видимо так:

 header('HTTP/1.1 304 Not Modified'); 

Вопрос: если такой заголовок будет возвращаться на страницу которая ещё не индексировалась Яндексом или др. поисковиком, будет ли он её индексировать, не возникнет ли проблем?

Движение обманутых вкладчиков Сбербанка (http://www.dcv.org.ru/)
ZeHer
На сайте с 01.04.2006
Offline
87
#1

Почти такой же вопрос возник в теме рядом.

По логике смысл 304 отклика чтобы дать понять роботу, что страница не изменялась и нечего ее запрашивать, соответсвенно робот от нее отвалит просто.

Тут надо найти способ узнавать индексировалась ли страница уже.

И если да, то отдавать такой заголовок. Но как это сделать пока мыслей нет.

nickspring
На сайте с 29.03.2006
Offline
228
#2

Возникнут, конечно. Проиндексирована страница или нет, - это здесь не причем. Нужно проверять присылаемый браузером клиента заголовок HTTP_IF_MODIFIED_SINCE. В нем приходит дата последнего обновления кеша Вашей страницы в браузере у конкретного посетителя. Так вот, только в том случае, если с тех пор страница не изменилась нужно отправлять 304-й заголовок ответа и прерывать после этого выполнение скрипта. Более подробную информацию можно найти в поиске, в том же Яндексе... ну и, возможно, Вам пригодиться моя статья, относящаяся к этой теме.

ZeHer
На сайте с 01.04.2006
Offline
87
#3

nickspring, опа пасиба вот она мысль :)

Я как то и не подумал, что можно проверить через клиента.

nickspring
На сайте с 29.03.2006
Offline
228
#4
ZeHer:
nickspring, опа пасиба вот она мысль :)
Я как то и не подумал, что можно проверить через клиента.

Не можно, а нужно. 304-й заголовок и предназначен для работы в связке с HTTP_IF_MODIFIED_SINCE :-). Просто в случае с поисковиком, сам поисковик и является аналогом браузера с кешем.

S
На сайте с 15.05.2006
Offline
0
#5

nickspring, за статейку спасибо очень полезная

nickspring
На сайте с 29.03.2006
Offline
228
#6
svtol:
nickspring, за статейку спасибо очень полезная

ее недостаточно, чтобы сделать то, что Вам надо, но она может помочь. Поищите в поисковике статьи на тему "клиентское кеширование" или "кеширование на стороне клиента".

ZeHer
На сайте с 01.04.2006
Offline
87
#7

Суть ухватил, просто я такого не встречал ни в одной кмс, в той которую я использую, отдается например параметр last-modified - уже легче, сейчас буду пробовать шаманить.

S
На сайте с 15.05.2006
Offline
0
#8

nickspring, слушай а робот выдает If-Modified-Since или нет?

есть какая то инфа по этой теме?

nickspring
На сайте с 29.03.2006
Offline
228
#9
svtol:
nickspring, слушай а робот выдает If-Modified-Since или нет?
есть какая то инфа по этой теме?

конечно выдает, как и браузер... читайте здесь - http://webmaster.yandex.ru/faq.xml?id=502475#howtohelp - первый абзац

S
На сайте с 15.05.2006
Offline
0
#10

nickspring, ну тогда почему мне статья не поможет?

Делаю .htacess

получаю в РНР If-Modified-Since и юзаю.

Или я что -то не допонял?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий