проблемы с индексацией из-за использования сессий

RV
На сайте с 11.03.2003
Offline
0
879

на сайте используется аутентификация с сессиями. Гугльбот как заходит, так заваливает ядро и сайт стопорится. Есть ли какие-то настройки для гугля, чтобы он понимал, что есть куки и все такое.

Яндекс сайт проиндексил без проблем

Сайт law.edu.ru

K
На сайте с 31.01.2001
Offline
737
#1

1) Роботы про куки не знают.

2) Раз ваш сайт умеет давать session-id, то по User-Agent можно сообразить, что основным роботам не надо давать session-id в ссылках.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
wolf
На сайте с 13.03.2001
Offline
1183
#2

А если у пользователя стоит запрет на запись в куки, что происходит?

Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )
AiK
На сайте с 27.10.2000
Offline
257
AiK
#3
Есть ли какие-то настройки для гугля, чтобы он понимал, что есть куки и все такое.

Есть. Установите Вашему программисту драйвер pryamye_ruky.sys.

Иногда при этом требуется апгрейт драйвера smart_head.sys у менеджера до более свежей версии.

Теперь объясняю по буквам: нет никакой надобности в установке куки или открытии сессии до тех пор, пока посетитель не выразит в этом явного желания. Например не добавит товар в корзину. Т.е. нужно открывать сессию только на одной странице. Данная страница должна быть закрыта в robots.txt. Разумеется страниц может быть несколько, но все они должны быть закрыты для доступа роботами, чтобы они не подхватили сессию.

V1
На сайте с 07.07.2002
Offline
119
#4
Как писал RodionV
на сайте используется аутентификация с сессиями.
Яндекс сайт проиндексил без проблем

Яндекс не понимает сессии, индексит все подряд, в итоге в индексе куча одинаковых страниц по разным url и позиции в выдаче сильно снижаются. У меня была такая ситуация, и я имел переписку с админами из Яндекса. Они посоветовали закрыть их robot.txt. Хотя по-моему можно и по ip useragent'у определять.

Шпарил парень, парил парик (скороговорка)
L
На сайте с 06.09.2001
Offline
67
#5
Как писал AiK

Теперь объясняю по буквам: нет никакой надобности в установке куки или открытии сессии до тех пор, пока посетитель не выразит в этом явного желания. Например не добавит товар в корзину. Т.е. нужно открывать сессию только на одной странице. Данная страница должна быть закрыта в robots.txt. Разумеется страниц может быть несколько, но все они должны быть закрыты для доступа роботами, чтобы они не подхватили сессию.

Aртем, а вот, допустим, такая ситуация. Магазин имеет огромную дилерскую сеть, много тысяч, к примеру. с дилеров ссылки во всевозможные разделы магазина идут с уникальными параметрами, которые дальше таскаются внутри магазина, если юзер пришел с дилера. Т.е. вся сеть наводнена формально различными ссылками на один и тот же контент.

Какие оптимальные варианты избежать проблем с дубликатами и не раздражать поисковики?

TrafficHolder.com - Buy/Sell Adult Traffic (http://www.trafficholder.com/aff.php?samuelapirrone)
RV
На сайте с 11.03.2003
Offline
0
#6

Отключил я куки и все работает из браузера так же.

Короче система такая. Есть СОМ-объект, ответственный за соединение с датабазой. Я его открываю в начале сессии и держу открытым всю сессию, для убыстрения. Так вот гуглебот почему-то вешает всю малину. Он сессии не понимает? Или что?

Cossack
На сайте с 17.12.2002
Offline
279
#7

По-моему, выход только один - что-то менять на тех страничках - какой-нибудь random content;)

Прощание славянки... (http://www.youtube.com/watch?v=0xf9lFMWfKw)
AiK
На сайте с 27.10.2000
Offline
257
AiK
#8
Какие оптимальные варианты избежать проблем с дубликатами и не раздражать поисковики?

Самый простой - при остутствии реферера выдавать 404.

Чуть сложнее - проверять UserAgent, и поступать также.

Если подумать ещё чуть-чуть, то можно вообще избавиться от параметров в ссылках. В подробности вдаваться не буду - ход мысли понятен, остальное - маленькое ноу-хау :). (Да и на конференции что-то относительно новое докладать надо :))

выход только один - что-то менять на тех страничках - какой-нибудь random content

Я бы за такие фокусы банил :D

RodionV, почитай о connection pool. Совсем не обязательно использовать сессии для хранения коннекции.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий