CRAWLER WEBALTA

123
Segey
На сайте с 23.08.2005
Offline
404
#11
Ambrozo:
Может у кого-то и есть сайты со столь солидной историей, но у меня точно нет архивов за 1913 год

Какое это отношение имеет к архиву сайта за 1913 год?

Зато на сайте исторические данные такого плана могут быть запросто

Brexit - уже совсем рядом. (https://about-this-model.blogspot.com/2019/03/brexit.html)
A
На сайте с 02.09.2006
Offline
146
#12

Sculptor, все это очень познавательно.. 🚬

Sculptor:
интернет в то время по ряду политических причин был доступен только узкому кругу дворян и царской семье

Но вот Хлебников писал про интернет, тем не менее :)

Segey,

Segey:
Какое это отношение имеет к архиву сайта за 1913 год?
Зато на сайте исторические данные такого плана могут быть запросто

Я не про то. И на сайте нет никаких "исторических данных такого плана".. Имеет прямое отношение, т.к. на сайте есть страница .../archive с соответствующим функционалом и поиском публикаций по годам/месяцам/числам, например страница .../archive/2006/08/01 конечно есть. Посмотрел код модуля, который генерит этот самый архив, но и там не обнаружил ничего, что бы могло производить такую возможность. А настырный альтовский бот сканит последовательно:

/archive/1969/03/01

|

/archive/1969/02/01

|

/archive/1969/01/01

|

/archive/1968/12/01

|

/archive/1968/11/01

|

/archive/1968/10/01

|

/archive/1968/09/01

|

/archive/1968/08/01

И т.п... Причем он уже двое суток не вылазит из этого "архива". Какой-то маразм.. :)

Xover
На сайте с 22.05.2006
Offline
101
#13
/archive/1968/10/01

хм, ему на это конечно 404 вылазит?

Покупаю внутренние PR4 на sape.ru (http://www.sape.ru/r.f3cfb23480.php)
Ceres
На сайте с 28.09.2004
Offline
389
#14
Причем он уже двое суток не вылазит из этого "архива". Какой-то маразм..

Ха-ха, да он там походу заблудится :) ему ведь еще сначала вернуться надо будет к рождению Христа, ну и в будущее заглянуть :)

Там чу-де-са! )
romanov
На сайте с 13.01.2005
Offline
145
#15

/офф/

Ух, интереснный варниг (формулировка) мне за пост влепили.. Ндя...

Хочешь как лучше, а выходит как обычно...

зарабатываейте с нами (http://www.seowizard.ru/r.54b8561c00.php)
A
На сайте с 02.09.2006
Offline
146
#16
Xover:
/archive/1968/10/01

хм, ему на это конечно 404 вылазит?

Нет :) вот пример (фрагмент лога):

/archive/1928/05/01

Http Code: 200 Date: Sep 03 20:52:21

Referer: -

Agent: WebAlta Crawler/1.3.18 (http://www.webalta.net/ru/about_webmaster.html) (Windows; U; Windows NT 5.1; ru-RU)

Бот до сих пор сидит... Видимо, серьезно попал :) , ибо, судя по всему:

ему ведь еще сначала вернуться надо будет к рождению Христа, ну и в будущее заглянуть

х.з.

D
На сайте с 27.06.2006
Offline
115
#17

Sculptor,

офф

просто ужас. как они смогли это сделать, если лампочных транзисторов еще нет в эти времена и в помине?

/офф

Revan
На сайте с 09.09.2005
Offline
321
#18

Кстати, тут согласен - бот Вебальты действительно профи по отыскиванию ХЗ каких страниц на сайтах.

С уважением, Прокофьев Александр, founder KudaGo.com (http://kudago.com). Отдаем информацию обо всех мероприятиях в РФ + Киев по API (/ru/forum/912869) всем желающим.
S
На сайте с 06.02.2006
Offline
85
#19

Ambrozo, помоему это проблема в вашем движке. У меня подобная ситуация была с DLE, когда я для него google sitemap создавал с помощью программ.

С уважением, Хорев Андрей (http://www.khorev.net/)
A
На сайте с 02.09.2006
Offline
146
#20

saman, вполне возможно, я пока не делаю выводов.. У нас друпал, Google sitemap не установлен, вроде все корректно работает, и архивный модуль никак не может выдавать линки старше 2000-х годов. Еще дело в том, что эта ерунда замечена только у вебальты, другие боты так себя не ведут :) Вчера она все-таки добралась до начала 1900-х, но дальше уже не пошла :)

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий