Теперь ссылки разделены на внешние, закрытые и страницы с ошибками. Теперь закрытые ссылки не будут сбивать с толку в окне с результатами.
Добавлена поддержка сжатого контента. Теперь не нужно отключать HyperCache в Wordpress.
Величина таймаута настраивается в опциях сканера.
Исправлены найденые ошибки. Если программа при активации выдает ошибку (417), скачайте обновленный инсталлятор и переустановите программу.
Работа над программой продолжается.
Если у вас появляется сообщение что ключ активирован на другом оборудовании, а вы при этом ничего в системе не меняли - пишите в поддержку, чем больше будет сведений - тем быстрее все баги будут исправлены.
И выражаю благодарность всем, подробно описавшим трудности, с которыми они столкнулись. Это помогает нам оперативно исправлять недочеты и делать программу еще лучше.
Gnev88: Сканирую с помощью локального роботса, сканирую несколько раз и то он срабатывает то нет, часто показывается исключенные страницы с Титле не получен или отсутствует. Обновление не происходит, сканирование теряет смысл если не будет обновляться список по отношению к предыдущим данным, если перезагрузить и открыть снова, возможно будет правильные страницы, как правильно сканировать, почему такая сложность при простых действиях требуется что бы получить стандартный эффект?
Как все сумбурно. Давайте по-порядку: опишите свои действия и эффект который ожидаете. И какие из этих действий, по-вашему мнению, выполняются неправильно.
Str256: На версии 2.06 отсканил один сайт. Главное специально в роботсе прописал запрет сканить rss.
User-agent: PageWeight
Disallow: /rss
И залил на сайт его. И тем не менее, прога отсканила и страницы с rss все(((.
Нажал не показывать, в итоге она их скрыла, но номера страниц так идут:
......
6220
6410
6834
7036
Сделал карту сайта, там rss страницы тоже оказались. Когда решение будет?
В следующем обновлении разделим нормальные и закрытые страницы по разным вкладкам, и будет информация где страница была закрыта (robots, исключения и т.п.). Соответственно при экспорте их уже не будет.
Что касается сканирования страниц, закрытых в роботсе - тут программа отработала правильно, т.к. сканируются ссылки на закрытые страницы, а не с них. При нажатии "Скрыть" они были скрыты как закрытые в роботсе.
wlad2: зачем во "входящих", подсвечивается ссылка сама на себя?
А можно подробнее об этом?
---------- Добавлено 12.12.2012 в 10:39 ----------
TeXiCo: Обновился на новую версию :) Закинул сайт на сканирование, примерно 80600 страниц, свернул, после того, как свернул, развернуть назад не могу. Вентилятор гудит, значит работает, загрузка процессора до 60-80% (на все 4 ядра) :) Теперь пока не закончиться сканирование развернуть не смогу? Потоков поставил 10 штук, есть какие-то оптимальные настройки, пусть в ущерб скорости, при которых не будет таких жестких зависаний? А то даже прогресс не посмотреть и не остановить :)
Скажите антивирус при этом включен? И сколько памяти/процессора отъедает программа в режиме "зависания"?
Стараемся отвечать максимльно оперативно. На ваши сообщения в личке даны ответы.
ibred: Я писал по поводу того, что если "Скрыть закрытые" страницы, то ничего не происходит. Они, как были, так и остаются в таблице, хотя они закрыты мета-тегом роботс. Ссылки с этих страниц так же учитываются.
Напишите на support@page-weight.ru о каком сайте идет речь. Поддержку мета-тега роботс мы ввели. Если она глючит на вашем сайте нам нужно знать на каком.
burunduk: Sterh, вопрос, если сервер не успел в отведённый промежуток времени отдать страницу полностью т.е. в заголовке передал Content-Length: 10326
получил меньше, а время кончилось?
как поведёт себя программа,
посчитает весь url битым или будет анализировать то что успела получить?
Специально не проводили эксперименты, так как не работаем с запросом напрямую, это делает библиотека. Но скорее всего в этом случае страница будет считаться битой.
Исправлен (теперь, надеюсь, окончательно) баг с зависанием при оставновке, а так же появление ошибки при автодосканировании.
Str256: Не исправлен, не смог остановить сканирование, пришлось выключать программу. Писало дождитесь окончания очереди, а потом продолжало сканировать дальше. Плохо что бэкапы предыдущих версий не сохраняет, при обновлении.
Обновите программу. Правда, нужно удалить проект и создать его заново.
Выпущено обновление 2.0.8
Работа над программой продолжается.
Если у вас появляется сообщение что ключ активирован на другом оборудовании, а вы при этом ничего в системе не меняли - пишите в поддержку, чем больше будет сведений - тем быстрее все баги будут исправлены.
И выражаю благодарность всем, подробно описавшим трудности, с которыми они столкнулись. Это помогает нам оперативно исправлять недочеты и делать программу еще лучше.
Сканирую с помощью локального роботса, сканирую несколько раз и то он срабатывает то нет, часто показывается исключенные страницы с Титле не получен или отсутствует. Обновление не происходит, сканирование теряет смысл если не будет обновляться список по отношению к предыдущим данным, если перезагрузить и открыть снова, возможно будет правильные страницы, как правильно сканировать, почему такая сложность при простых действиях требуется что бы получить стандартный эффект?
Как все сумбурно. Давайте по-порядку: опишите свои действия и эффект который ожидаете. И какие из этих действий, по-вашему мнению, выполняются неправильно.
На версии 2.06 отсканил один сайт. Главное специально в роботсе прописал запрет сканить rss.
User-agent: PageWeight
Disallow: /rss
И залил на сайт его. И тем не менее, прога отсканила и страницы с rss все(((.
Нажал не показывать, в итоге она их скрыла, но номера страниц так идут:
......
6220
6410
6834
7036
Сделал карту сайта, там rss страницы тоже оказались. Когда решение будет?
В следующем обновлении разделим нормальные и закрытые страницы по разным вкладкам, и будет информация где страница была закрыта (robots, исключения и т.п.). Соответственно при экспорте их уже не будет.
Что касается сканирования страниц, закрытых в роботсе - тут программа отработала правильно, т.к. сканируются ссылки на закрытые страницы, а не с них. При нажатии "Скрыть" они были скрыты как закрытые в роботсе.
зачем во "входящих", подсвечивается ссылка сама на себя?
А можно подробнее об этом?
---------- Добавлено 12.12.2012 в 10:39 ----------
Обновился на новую версию :) Закинул сайт на сканирование, примерно 80600 страниц, свернул, после того, как свернул, развернуть назад не могу. Вентилятор гудит, значит работает, загрузка процессора до 60-80% (на все 4 ядра) :) Теперь пока не закончиться сканирование развернуть не смогу? Потоков поставил 10 штук, есть какие-то оптимальные настройки, пусть в ущерб скорости, при которых не будет таких жестких зависаний? А то даже прогресс не посмотреть и не остановить :)
Скажите антивирус при этом включен? И сколько памяти/процессора отъедает программа в режиме "зависания"?
Почему Вы игнорируете мои письма?
Стараемся отвечать максимльно оперативно. На ваши сообщения в личке даны ответы.
Я писал по поводу того, что если "Скрыть закрытые" страницы, то ничего не происходит. Они, как были, так и остаются в таблице, хотя они закрыты мета-тегом роботс. Ссылки с этих страниц так же учитываются.
Напишите на support@page-weight.ru о каком сайте идет речь. Поддержку мета-тега роботс мы ввели. Если она глючит на вашем сайте нам нужно знать на каком.
Sterh, вопрос, если сервер не успел в отведённый промежуток времени отдать страницу полностью т.е. в заголовке передал Content-Length: 10326
получил меньше, а время кончилось?
как поведёт себя программа,
посчитает весь url битым или будет анализировать то что успела получить?
Специально не проводили эксперименты, так как не работаем с запросом напрямую, это делает библиотека. Но скорее всего в этом случае страница будет считаться битой.
Очередное экспресс обновление 2.0.6
Исправлен (теперь, надеюсь, окончательно) баг с зависанием при оставновке, а так же появление ошибки при автодосканировании.
Не исправлен, не смог остановить сканирование, пришлось выключать программу. Писало дождитесь окончания очереди, а потом продолжало сканировать дальше. Плохо что бэкапы предыдущих версий не сохраняет, при обновлении.
Обновите программу. Правда, нужно удалить проект и создать его заново.
Если быть точным то таймаут 15 секунд.
А время ожидания зависит от задержки при парсинге и числа потоков?
Нет, не зависит. Один поток открывает одну страницу и таймаут считается для каждого потока.
Выложили экспресс обновление 2.0.5
Исправлен баг с зависанием сканирования и процесса отмены, испрвлен обработчик robots.txt
Обновление доступно автоматически при запуске программы или нажатии кнопки "Поиск обновлений".
Выложили экспресс обновление 2.0.4
Исправлен баг, приводящий к зависанию процесса сканирования.