linkoscop 3 это 30 инструментов для работы с внутренней перелинковкой

И хотела бы оценить программу, да пока никак не выходит: парсинг доходит до 7 тыс страниц и виснет. При этом программа занимает оголо 1,4 гб оперативы. И резерв оперативки есть - у меня 4 гб стоит, но дальше 7 тыс страниц не идет :(

Останавливаю через кнопку "стоп" и дальше тишина. Колонки весов пустые. Она после стопа что-то считает или тупо висит в памяти?

Вынужден признать, что такая проблема к сожалению имеется и она систематическая. Правда тут вина не программы, а хостинга. То есть идет блокировка на уровне хостинга, очевидно однообразные обращения воспринимаются как атака.

Можно попробовать исключить получение текста страниц и просчет "сквозных" что бы облегчить доступ и уменьшить нагрузку.

В следующей версии планируется изменить (расширить) подход к получению информации и этот вопрос будет решен или минимизирован по крайней мере.

Если потребуется ключ на 10 дней, для дальнейших тестов, то могу предоставить.

убрала названные вами галки, на сей раз парсинг дошел до 9000 страниц ))) в индексе яндекса больше 40 тыс страниц... я так понимаю, ваша программа не для таких сайтов )

только одно скажите, после того, как я жму кнопку "стоп", оно хоть должно обсчитывать веса? ))

В принципе да, очень большой объем достаточно сложен в просчете, так как здесь не просто получаются страницы, а просчитываются все получаемые и передаваемые веса между страницами (если не учитывать все остальные параметры). При тестировании программы сайты были до 5000 страниц, поэтому больший объем не проверялся.

Идеальная среда для работы это html сайт до 1000 страниц.

После нажатия на кнопку "стоп" программа "переваривает" все полученные данные, Если данных очень много то останавливается не сразу. Все зависит от объема.

ну считайте, что тест проведен... )

Если дадите ключ на 10 дней, потестирую на сайте с 6 тыс страниц )

Ну.. после нажатия на кнопку стоп с 7 тыс спарсенных страниц я ждала сутки - ничего не произошло. Таки хотелось бы иметь представление о том, чем занимается программа ) Хотя это и без меня уже сказали )

И насчет программы Erida2... Тоже не смогла потестировать, так как интерфейс программы весь съехал. И не сказать, чтобы у меня было сильно нестандартное разрешение на ноуте - 1280...

keira, Ключ отправил в личку

Здесь уже несколько раз прозвучало то, что прога особенно полезна на этапе разработки. Так почему же не сделать так, чтобы она корректно работала под Денвером, пусть даже и не с полной функциональностью. Исчезнет проблема «блокировка на уровне хостинга», возможности программы сведутся к возможностям компьютера, да и какие-то мелкие ляпы типа дублей страниц можно будет действительно заметить еще на этапе разработки. Данный вопрос задавал еще тогда, когда ТС открыл здесь тему про Огуречный Линкоскоп, но, к сожалению, с тех пор так ничего и не изменилось, а жаль, с удовольствием бы прикупил прогу с подобным функционалом.

извините, что только сейчас дошли руки ответить.

спасибо за ключ, гоняла второй сайт неделю. сайт с 6,5 тыс страниц программа смогла пропарсить только с задержкой больше 1 сек и без текстовой составляющей - иначе парсинг останавливался, когда программа занимала 1050 метров памяти. то есть вроде как парсинг шел, но количество обработанных страниц не менялось часами. после нажатий на кнопку стоп тоже ничего не менялось (веса не обсчитывались), а после закрытия-открытия программы проверка не отображалась в списке проверок.

первый, большой сайт с 40 тыс страниц в индексе и сложной перелинковкой линкоскопу оказался все-таки не по зубам, с любыми задержками. доходит до 10 тыс страниц и виснет так же с забитым гигом памяти, при том, что свободны еще 2 гига оперативы... а ведь программа была нужна именно для того, чтобы оценить перелинковку именно на этом сайте.

в итоге программа хороша, чтобы заметить явные косяки в перелинковке небольших проектов, да и для выбора схемы перелинковки она хорошо подходит. но - не для крупняка )))

вообще хорошо бы было доработать программу, чтобы она могла сохранять ход проверки на диск в процессе проверки. чтобы при внезапном прекращении проверки по любым причинам оставалось хоть что-то, а в идеале можно было бы продолжать проверку с того места, где она завершилась.

Вышло обновление программы до версии 3.10.

В обновление вошло:

1. Корректировка работы с файлом robots.txt

2. Несколько изменен алгоритм проверки проиндексированности страниц

3. Устранены некоторые бажки в чтении url

keira, Прошу прощения, что ответил не стразу, уведомления почему то не приходят...

по сабжу:

1. Глобально изменится подход к получению страниц на сайте с версии 4 (думаю предусмотреть несколько видов получения страниц).

2. При просчете так же многое зависит и количества ссылок на страницах. Например недавно написал один пользователь, что его сайт с 1,7к страниц проверяется с большим трудом. Как выяснилось там на каждой странице по 200-300 ссылок (сейчас этот бажок исправлен), то есть нагрузка уже на процессов=р компа так как просчет идет на компьютере.

3. Программа будет дорабатываться и в этом очень помогают мнения и пожелания пользователей :)

mark3000, а для Эриды и Кэтрин когда нибудь будет обновление? А то ну никак не получается работать с вашим софтом на моем экране - его всего перекосило до ужаса - экран 17 FHD.