exp131

Рейтинг
69
Регистрация
26.05.2010

Выпущено обновление 2.0.8

  • Теперь ссылки разделены на внешние, закрытые и страницы с ошибками. Теперь закрытые ссылки не будут сбивать с толку в окне с результатами.
  • Добавлена поддержка сжатого контента. Теперь не нужно отключать HyperCache в Wordpress.
  • Величина таймаута настраивается в опциях сканера.
  • Исправлены найденые ошибки. Если программа при активации выдает ошибку (417), скачайте обновленный инсталлятор и переустановите программу.

Работа над программой продолжается.

Если у вас появляется сообщение что ключ активирован на другом оборудовании, а вы при этом ничего в системе не меняли - пишите в поддержку, чем больше будет сведений - тем быстрее все баги будут исправлены.

И выражаю благодарность всем, подробно описавшим трудности, с которыми они столкнулись. Это помогает нам оперативно исправлять недочеты и делать программу еще лучше.

Gnev88:
Сканирую с помощью локального роботса, сканирую несколько раз и то он срабатывает то нет, часто показывается исключенные страницы с Титле не получен или отсутствует. Обновление не происходит, сканирование теряет смысл если не будет обновляться список по отношению к предыдущим данным, если перезагрузить и открыть снова, возможно будет правильные страницы, как правильно сканировать, почему такая сложность при простых действиях требуется что бы получить стандартный эффект?

Как все сумбурно. Давайте по-порядку: опишите свои действия и эффект который ожидаете. И какие из этих действий, по-вашему мнению, выполняются неправильно.

Str256:
На версии 2.06 отсканил один сайт. Главное специально в роботсе прописал запрет сканить rss.

User-agent: PageWeight
Disallow: /rss

И залил на сайт его. И тем не менее, прога отсканила и страницы с rss все(((.
Нажал не показывать, в итоге она их скрыла, но номера страниц так идут:
......
6220
6410
6834
7036

Сделал карту сайта, там rss страницы тоже оказались. Когда решение будет?

В следующем обновлении разделим нормальные и закрытые страницы по разным вкладкам, и будет информация где страница была закрыта (robots, исключения и т.п.). Соответственно при экспорте их уже не будет.

Что касается сканирования страниц, закрытых в роботсе - тут программа отработала правильно, т.к. сканируются ссылки на закрытые страницы, а не с них. При нажатии "Скрыть" они были скрыты как закрытые в роботсе.

wlad2:
зачем во "входящих", подсвечивается ссылка сама на себя?

А можно подробнее об этом?

---------- Добавлено 12.12.2012 в 10:39 ----------

TeXiCo:
Обновился на новую версию :) Закинул сайт на сканирование, примерно 80600 страниц, свернул, после того, как свернул, развернуть назад не могу. Вентилятор гудит, значит работает, загрузка процессора до 60-80% (на все 4 ядра) :) Теперь пока не закончиться сканирование развернуть не смогу? Потоков поставил 10 штук, есть какие-то оптимальные настройки, пусть в ущерб скорости, при которых не будет таких жестких зависаний? А то даже прогресс не посмотреть и не остановить :)

Скажите антивирус при этом включен? И сколько памяти/процессора отъедает программа в режиме "зависания"?

ibred:
Почему Вы игнорируете мои письма?

Стараемся отвечать максимльно оперативно. На ваши сообщения в личке даны ответы.

ibred:
Я писал по поводу того, что если "Скрыть закрытые" страницы, то ничего не происходит. Они, как были, так и остаются в таблице, хотя они закрыты мета-тегом роботс. Ссылки с этих страниц так же учитываются.

Напишите на support@page-weight.ru о каком сайте идет речь. Поддержку мета-тега роботс мы ввели. Если она глючит на вашем сайте нам нужно знать на каком.

burunduk:
Sterh, вопрос, если сервер не успел в отведённый промежуток времени отдать страницу полностью т.е. в заголовке передал Content-Length: 10326
получил меньше, а время кончилось?
как поведёт себя программа,
посчитает весь url битым или будет анализировать то что успела получить?

Специально не проводили эксперименты, так как не работаем с запросом напрямую, это делает библиотека. Но скорее всего в этом случае страница будет считаться битой.

Очередное экспресс обновление 2.0.6

Исправлен (теперь, надеюсь, окончательно) баг с зависанием при оставновке, а так же появление ошибки при автодосканировании.

Str256:
Не исправлен, не смог остановить сканирование, пришлось выключать программу. Писало дождитесь окончания очереди, а потом продолжало сканировать дальше. Плохо что бэкапы предыдущих версий не сохраняет, при обновлении.

Обновите программу. Правда, нужно удалить проект и создать его заново.

Если быть точным то таймаут 15 секунд.

Str256:
А время ожидания зависит от задержки при парсинге и числа потоков?

Нет, не зависит. Один поток открывает одну страницу и таймаут считается для каждого потока.

Выложили экспресс обновление 2.0.5

Исправлен баг с зависанием сканирования и процесса отмены, испрвлен обработчик robots.txt

Обновление доступно автоматически при запуске программы или нажатии кнопки "Поиск обновлений".

Выложили экспресс обновление 2.0.4

Исправлен баг, приводящий к зависанию процесса сканирования.

Всего: 467