Чем Яндекс берет ссылки?

12 3
M
На сайте с 16.01.2003
Offline
129
1269

Я имею ввиду, кем он представляется, когда собирает линки по сайту. ИМХО, он представляется не собой!:dont: Сужу по тому, что при индексации сайта он часто берет урлы с сессиями, которые в принципе ему недоступны, т.к. сессии отрезаются при проверке юзер агента. Значит, шарит он по сайтам под другим именем и нахапывает урлов с сессиями. Это не есть гуд, такое положение вещей тормозит переиндексацию, т.к при запросе страниц с сессиями отдается 301 код.

Как отследить Я? :confused:

[Удален]
#1

А может кто-то плохо агента проверяет ?

M
На сайте с 16.01.2003
Offline
129
#2

Что значит "плохо"? Его или проверяют или нет. Я проверяю по маске "yandex" без учета регистра... Да и потом, тестирование еще никто не отменял

[Удален]
#3

Адрес страниц с сессиями в студию.

M
На сайте с 16.01.2003
Offline
129
#4

кинул в личку

[Удален]
#5

Ответил. Хотелось бы пример именно индексации страницы яндексом.

M
На сайте с 16.01.2003
Offline
129
#6

Не, в числе проиндексированных их и не должно быть, я ведь отдаю код 301. Вся эта фигня затягивает индексацию!

[Удален]
#7

Я что-то логики совсем не понимаю. Кто-то шатается по сайту и набирает урлы с сессиями. И это яндекс ?

M
На сайте с 16.01.2003
Offline
129
#8

1. Когда Янд индексит сайт, в логах вижу урлы с сессиями

2. Я отслеживаю Янд и подсовываю ему урлы без сессий

3. Вопрос: откуда у Янд урлы с сессиями???

[Удален]
#9

Точно его робот ? Пока вижу два варианта:

1. У него раньше были в базе страницы с сессиями.

2. Вы все таки ему где-то выдаете ссылки с сессиями.

M
На сайте с 16.01.2003
Offline
129
#10

Робот его, точнее не бывает :)

1. Раньше были конечно, но уже давно работает этот механизм отсечения сессий для поисковиков (около года)

2. практически исключено, т.к. неоднократно проверялось и искалось на этот предмет

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий