Долгожданная Page Weight Desktop (2.0). Программа для перелинковки сайта.

Добавили в список задач на следующее обновление.

У меня отсканировало 25 тыс страниц (хотя поставила использовать robots, где все ссылки с ? закрыты от индексации) и сдохло. Стоит уже полчаса, дальше обрабатывать не хочет. Что делать - хз

Я так полагаю, что отсканировало не страницы, а ссылки на страницы, закрытые в роботс?

По поводу "сдохло". Что пишет? Что показывает? Скришот "сдохшего состояния" хотя бы можно?

Дамы и господа.

Прошу при сообщении об ошибке - указывайте сайт и обстоятельства к этой ошибке приведшие. Если не хотите это светить тут пишите в личку, на почту. Это существенно ускорит нахождение и исправление. А то каждый раз приходится клещами вытаскивать подробности. А штатный телепат уволился.

Страницы вида http://www.site.ru/page-3.html?month=12&year=2012 закрытые в роботсе

http://floomby.ru/s1/RDs34 - это я попыталась проект остановить. Уже полчаса любуюсь.

Nina, а как вы поставили запрет в роботсе? /*? Роботс локальный был?

И при скане вы выбрали тот юзерагент в котором этот запрет стоит?

Я б прогу закрыл, всё равно отсканено неправильно. У меня кстати с локальным роботсом нормально отсканировалось посл раз.

User-agent: *

Disallow: */*?*

Disallow: /tags

- этот роботс прекрасно понимают все поисковики, но программа сканирует тем не менее

Юзерагент - pageweight. Локального роботса не было.

Я не это имею ввиду. Т.к. программа работу не закончила, то результаты не обработаны, и закрытые страницы Вы видите в списке очереди сканирования. Так?

Закройте программу и запустите скан снова. Начнет сканировать с момента последнего сохранения данных.

---------- Добавлено 27.11.2012 в 16:28 ----------

ну и это.. Если у Вас юзер-агент в проге pageweight указан, а в роботсе дерективы для *, то естественно эти дерективы будут игнорироваться.

Если вы в группе роботс использовали юзерагент pageweight - то программа будет искать правила конкретно для этого юзерагента, а если не найдёт будет сканировать всё подряд.

Я вот так утром закрыл, не дождавшись остановки.Потому что сервер на профилактику ушёл. Сейчас открыл - пусто ни одной ссылки не просканировано оказалось, хотя было порядка 1200 проверенных.

Спасибо, немного помогло, во всяком случае сканирование закончилось. Только я не пойму зачем мне программа показывает теперь в результатах сканирования ссылки, которые были закрыты для индексации - тэги, страницы с ?. Зачем мне нужен этот мусор?