Принятие кукисов поисковыми роботами

Официальные работы имеет стандартный юзер-агент, поэтому их можно обрабатывать через юзер-агент, но это смахивает на клоакинг

Мне нужно знать принимает ли поисковые боты кукисы и все

Там нет клоакинга я просто выключаю сайт в случае если браузер не принимает кукисы на оформлении страницы это никак не отражается

greysniper, я бы не ожидал от роботов приёма кук. Но Вы легко можете выяснить точный ответ на этот вопрос для разных роботов, проанализировав свои логи. И, скорее всего, Вы убедитесь в том, что куки они не едят.

У меня есть подозрения, что гугл умеет работать с куками, так как у него есть сервис индексации разделов защищенных учетными данными, но большинство роботов не работают с куками, так как они приходят забрать контент и потом отдают его анализатору, который уже анализирует загруженную страницу. Поисковый робот по сути делает копию сайта у себя.

Поэтому если это делается ради защиты DDOSа, то в инете можно найти список юзер-агентов поисковиков и для них выдавать страницу после проверки агента, а для остальных через куки.

ИМХО: Если аудитория сайта профессиональные интернет-пользователи, то будут проблемы. Я по умолчанию блокирую куки для всех новых сайтов и открываю запись кук только для сайтов, которые мне нужны...

На JavaScript или PHP ?

сделано на PHP для того чтобы отсекать грабберы вида

$html=file_get_contents('http://saitex.ru');

на сайте есть контент который периодически пятаюстся сграбить парсерами вот это одна из линий обороны

Сайт можно выкачать с работающими куками программой offline explorer и его аналогов.

Конечно, роботы не будут у себя хранить какие-то куки, им на них плевать.

Поэтому готовьтесь, что они контента не увидят.

Либо по User-Agent надо выдавать нормальный контент роботам поисковиков.

Но тогда исходная цель (защита от граббинка контента) отдалится ещё сильнее, так как любой балбес сможет прикинуться поисковиком. Если отличать поисковики, то по IP, а не по агенту.

С другой стороны, как только сайт попадёт в кэши поисковиков, его оттуда легко заберут, вообще не тревожа сервер топикстартера.

Список IP изменяется, чтобы черные оптимизаторы не смогли манипулировать результатами поиска.