CRAWLER WEBALTA

1 23
MaulNet
На сайте с 07.08.2005
Offline
348
#21

Сегодня я выяснил, что их бот не читает сайты, которые не работают с отключенными cookies.

Revan
На сайте с 09.09.2005
Offline
321
#22

MaulNet, эта тема обсуждалась :)

Если честно я их понимаю))

С уважением, Прокофьев Александр, founder KudaGo.com (http://kudago.com). Отдаем информацию обо всех мероприятиях в РФ + Киев по API (/ru/forum/912869) всем желающим.
MaulNet
На сайте с 07.08.2005
Offline
348
#23

Revan, да? Не видел, к сожалению, можно линк?

И исправить подобное я хз как можно, надо будет программиста искать. Возможно, это из-за вступительной на странице.

Revan
На сайте с 09.09.2005
Offline
321
#24

----------------------

content
На сайте с 23.01.2006
Offline
103
#25

Ambrozo, а нету ли у вас часом календарика на сайте? Ну, знаете, такого - на дату клацнул и новости за эту дату посмотрел. А если есть календарик, то нет ли у него автогенерации ссылок назад/вперед по датам?

ND
На сайте с 19.08.2004
Offline
163
#26
Нет вот пример (фрагмент лога):

Так что тут странного, он и продолжает дальше ломиться, раз вы ему 200 ОК отдаете :)

1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий