Str256

Ну так, паузы нету между запросами вот и результат. Плюс юзер агент - браузер, а не ПС. А сервера настроены обычно так, чтобы больший приоритет по ресурсам пс отдавать, чтобы владельцы сайтов не жаловались...

Методичка же должна быть какая-то. К каким значения привязывать внешние ссылки в зависимости от их характеристик.

vagogrande, у меня ваш сайт сканируется нормально. За 10 минут 800 страниц прошла, но правда я всего 2 потока поставил. Если вы загружали урлы с хмл то может в этом и есть косяк. Уже бывали проблемы с подгрузкой урлов, я правда текстовые файлы использую и сейчас всё нормально, а хмл я давно уже не проверял. Плюс сам файл может быть кривым.

Зачем вам кстати на каждой странице 2-е ссылки на карту сайта?

Интересно как? Можно в личку.

______________________________________________________________________________

ну и код у сайта... роботс конечно длинный, но явно не весь мусор закрыт...

Вот такое ещё не мешало бы добавить:

Disallow: /*.css?*

Вместо звёздочки там произвольные цифровые комбинации, и полно таких ссылок в коде, по десятку на странице. Такие, я бы тоже закрыл: /image.php? Плюс ливезиллу тоже. А вообще, там такие ссылочки с параметрами, что чёрт ногу сломит...

Во внутренних ссылках не стоит применять нофоллов, вес всё равно уходит.

vagogrande, мне киньте урл. Попробую проверить, на своей версии.

Раз заговорили о юзабилити.... В меню - хорошо бы скрывать ненужные кнопки. К примеру я сейчас не пользуюсь агрегатторами. Взять убрать их и т.п. чтобы осталось только нужное. А для тех что осталось, задать несколько последовательностей действий - я ещё 2 года назад об этом говорил. Типа эмулятора, включить запись, потыкать мышкой куда нужно, выключить - сохранить профиль.

P.S. про тикеты помню))

Сканируйте по списку страниц, а он уже есть с предыдущего скана. Будет быстрее.

Не такой уж и большой, без проблем можно спарсить заново. Тем более что копию сайта можно и на локалке развернуть.

Также можно к "удаляемым" ссылкам добавлять в базе какой-нибудь атрибут, можно несуществующий - тогда ПС внимания на него не обратят, а прога воспримет как метку что ссылку учитывать не надо.

burunduk, а что ты скажешь по моделированию с изменением весов страниц. Насколько это оправдано менять, чем-то отличается от гадания на кофейной гуще?

tenebrum, сервер может отбивать запросы, если часто идут + IP в бан после оперд числа запросов. Потоков меньше надо ставить и задержки побольше. Сайт напишите тут для оценки.

dimatel, если эти данные нашла программа, то по умолчанию оставьте 1. Другие значения ставятся при моделировании, для внешних ссылок на сайт.

Так я тебе написал же выше как определить. Думал ты уже сделал...