Новая, уникальная программа для перелинковки сайта и проверки площадок

Роботс обрабатывается криво, лучше исключениями пользуйтесь. И ещё если на сайте много ссылок на картинки, то прога их считает отделоьными страницами - и получается их очень много, прога может вообще сайт не просканировать. Я например в таком разе их в исключения по расширению добавляю перед парсингом.

Так там же есть сохранение в формате программы, и экспорт есть в csv. Мне не понятен ваш вопрос.

Как-то не справедливо получается, вчера купил вашу программу, а сегодня на форуме прочитал, что к концу ноября выйдет вторая версия и ее придется покупать, на сайте не написано, что обновления платные.

Извините, если такой вопрос уже был, всю ветку читать я не ослилила...

Случился у меня с прогой такой косячок. Я вчера вечером поставила ее сканировать большой сайт (она насканировала около 90000 страниц). Инет у меня не быстрый + я задержку поставила, чтобы сайт не вешать лишний раз. Так что, чтобы прога не мешалась, я ее свернула.

Сайт просканировался, я нажала ОК, окошко сканирования закрылось, а прога осталась свернутая в трей. А вот из трея вытащить ее у меня так и не получилось... Ни левой кнопкой мыши, ни правой. В результате пришлось, прибить через диспетчер задач.

И вот хотелось бы понять, в чем проблема - в проге, в виндах или в прокладке между стулом и столом... 🤪

90 тыс. страниц? Это новый рекорд для программы. Вы уверены что именно столько страниц было на сайте?

Дело скорее всего в том, что после того как вы нажали ОК программа попыталась отобразить все эти 90 тыс. страниц. Однако такой объем очень велик и поэтому она "подвисла". На самом деле нужно просто было немного подождать (хотя честно говоря сколько будет выводиться такой объем я сказать не смогу, может 5-10 минут, а может быть и 2-3 часа). Обычно программа при выводе данных "наглухо" не подвисает.

"Всем покупателем текущей версии программы будет предоставлена скидка в размере её стоимости (600 руб.) на приобретение новой"

Сейчас мы эту фразу на сайте напишем :)

Вы побили все рекорды! ))

Знаете, меня саму удивило такое количество. Я.Вм показывает, что бот обошел 35000 страниц. Мне казалось, что тыщ 50 реально есть... Но программа показала больше 90000, когда закончила сканировать.

Если честно, у меня была такая мысль... Я подождала часа 1.5, но потом решила на ночь комп выключить все-таки, чтоб не жужжал. Сегодня поставила ее еще раз этот же сайт сканировать. Пока что прога отображает 20000 страниц. Но, видимо, еще не вечер.

Anny добавил 17.11.2011 в 17:48

Все получилось. Действительно, она подвисает в процессе отображения этого безумного количества страниц. Примерно на 2 часа. :-)

Здравствуйте, задаю урл этой чудо-программе и вылетает она через какое-то время. Windows 7

Когда в программе добавляю в исключение программа видимо не учитывает все страницы находящиеся в этом меню (находит очень мало страниц), как в ней можно скрыть только сам пункт меню но не страницы в нем как делает директива $ в файле robots.txt ?

Программа путешествует по всем ссылкам, которые находит. Если это интернет магазин, то учтет все ссылки с превьюшек на большие картинки, все ссылки сортировок и т.д. В этом и плюс и минус программы. Минус - парсит и то, что не нужно. Плюс - показывает, что формируются ненужные страницы. Ведь сортировка по цене, к примеру, может создать две дополнительные страницы со 100% дублирующим контентом. Поисковики такие страницы могут и не загрузить, а могут и зафильтровать, при чем зафильтруют совсем не ту копию, которую продвигаете :)

А поподробнее можно? Она начинает парсить, а потом вылетает? Или вылетает сразу? Выдает какую-то ошибку?

Вобщем опишите пожалуйста проблему чуть подробнее, так сложно даже предположить причину.

Не понял. Вы хотите запретить к индексации ссылку из меню, при этом что бы программа все равно прошла по этой ссылке и спарсила страницы?

Видимо да, поисковики то ходят по таким страницами исключая страницу с $ а все что за ней учитывают