Вебальта сидит на сайте целый день.. Канешна пусть себе сидит, и вроде интервал минута/полторы, но вот хотелось бы узнать, откуда она берет линки типа: .../archive/1913/10/01
Может у кого-то и есть сайты со столь солидной историей, но у меня точно нет архивов за 1913 год :) как и страниц с подобными адресами. Т.е. бот методично индексирует архивы/страницы за 1900-е годы, которых никогда не было и нет.
