Ambrozo

Рейтинг
153
Регистрация
02.09.2006
Должность
*
Интересы
*
403
Drow:
Ambrozo, Это хитрая логика поиска контента на который никто не ссылается. Такое не только они делают.

Заметил эту фигню от вебальты на двух сайтах, но по другим ботам ничего подобного не наблюдалось...

Вебальта сидит на сайте целый день.. Канешна пусть себе сидит, и вроде интервал минута/полторы, но вот хотелось бы узнать, откуда она берет линки типа: .../archive/1913/10/01

Может у кого-то и есть сайты со столь солидной историей, но у меня точно нет архивов за 1913 год :) как и страниц с подобными адресами. Т.е. бот методично индексирует архивы/страницы за 1900-е годы, которых никогда не было и нет.

Всего: 142