Примерно понятно. Прога такую схему не отработает. Программист озадачился )
Весьма "информативная" картинка... Киньте урл в личку, и с каким настройками парсили. На других сайта ошибка повторяется?
Программа путешествует по всем ссылкам, которые находит. Если это интернет магазин, то учтет все ссылки с превьюшек на большие картинки, все ссылки сортировок и т.д. В этом и плюс и минус программы. Минус - парсит и то, что не нужно. Плюс - показывает, что формируются ненужные страницы. Ведь сортировка по цене, к примеру, может создать две дополнительные страницы со 100% дублирующим контентом. Поисковики такие страницы могут и не загрузить, а могут и зафильтровать, при чем зафильтруют совсем не ту копию, которую продвигаете :)
А поподробнее можно? Она начинает парсить, а потом вылетает? Или вылетает сразу? Выдает какую-то ошибку?
Вобщем опишите пожалуйста проблему чуть подробнее, так сложно даже предположить причину.
Не понял. Вы хотите запретить к индексации ссылку из меню, при этом что бы программа все равно прошла по этой ссылке и спарсила страницы?
"Всем покупателем текущей версии программы будет предоставлена скидка в размере её стоимости (600 руб.) на приобретение новой"
Сейчас мы эту фразу на сайте напишем :)
Вы побили все рекорды! ))
Аннулировать можно. Но вот взамен выслать ключ нельзя. Вам придется вторую версию покупать заново, т.к. за текущую деньги Вам вернем.
Все покупатели первой версии будут иметь скидку в размере её стоимости (т.е. 600 руб.) при приобретение второй версии проги.
Т.е. взять результат их парсинга и обработать в нашей проге? Ну.. как запасной вариант можно оставить.
А так, парсер уже готов процентов на 90% (уже все работает, дорабатываем напильником). Тех. аудит будет свой, перелинковка тоже будет, моделирование более удобное будет... много чего еще будет.
Ээээ... игнорирует полностью. Сегодня сделаем переключатель, что бы считала как внешние.
------------
По поводу "Исключение во время запроса WebClient"
все таки отбивает сервер слишком быстрые запросы. Постараемся сегодня вкрутить в программу задержку.
Да ладно! А это что?
[ATTACH]99480[/ATTACH]
На страницеhttp://www.page-weight.ru/buy/ , аккурат перед словом "купить"
С почином! )))))
Всплывал этот вопрос уже. Решение в этой ветке можно почитать с поста 983 до 993
В 90% случаев некорректно прописан base href
Если проверили и не помогло - УРЛ мне в личку и что за движок у сайта.
9 страниц из-за "Исключение во время запроса WebClient" как раз. А вот условный вес нужно сначала расчитать :) Единичка у всех страниц - это стартовый вес по умолчанию.
Ага, благодарю. Вот про xenu я как то совсем забыл.
Да собственно и не пытаюсь :) Нужно сейчас состряпать легкий модуль, для отладки взаимодействия с парсером. Ну и что бы усилия совсем даром не пропали, хочется сделать этот модуль хоть немного полезным :)
Ну а куча сервисов, как правило, проверяет одну страницу, а не сайт целиком. Если я не прав - поправьте, буду признателен за ссылку на такой сервис.
