Новая, уникальная программа для перелинковки сайта и проверки площадок

Валидность кода в порядке, просто, видимо, играет роль, что на этих сайтах есть англояз. версии, где кодировка не windows-1251, а iso..., - программа, увы, о других кодировках (кроме тех, что для ru-зоны) не знает. Это огромный минус.

<meta http-equiv="Content-Type" content="text/html; charset=windows-1251" /> 

Ошибок нет и, извините, быть не может. Проблема - см. выше. Здесь и вручную не поможет, если программу не обучить работать с англояз. кодировкой. Надеюсь, поставите в планы?

Нет, проблемма не в кодировке. Если кодировка определена не правильно, то вместо тайтлов и анкоров получите кракозябры. Но на парсинг это не влияет.

К тому же, если подозреваете, что какая то папка или файл не дает программе работать корректно, то его можно добавить в настройках в ограничениях. В Вашем случае это en

На Ваших же сайтах программа перестает считать ссылки (т.е. их число в определенный момент перестает увеличиваться), но продолжает накручивать страницы. Это нонсенс, т.к. не может быть страниц без ведущих на них ссылок. Где именно Ваш сайт зацикливает программу - пока не нашли.

эээ вот http://www.nezamerz.net/subsite/index.html на модельном этом сайте находит только первые 2 страницы.. не знаю что такое base href честно гвря, я пишу как все - <a href='..'>...</a> обычные ссылки a href. типо..

если base href это то про что здесь http://www.w3schools.com/TAGS/tag_base.asp написано, то получается надо ещё до оценки программы на всём сайте прописывать тег base чтоль... :( ?

Программа не умеет начинать поиск со страницы. Т.к. определются верхние уровни.

Грубо говоря: http://www.nezamerz.net/subsite/ - правильно

http://www.nezamerz.net/subsite/index.html - не правильно

Если исправите, что бы индексный файл открывался по УРЛу папки, то, по идее, должно работать :)

А base href часто идет "в комплекте" с различными CMS. И не всегда правильно определяется путь (путают кол-во слешей в тэгах base и a href). И программа, соответственно, не правильно определяет пути для ссылок и не видит страницы... Вобщем безгранична фантазия вэбмастеров :)

-----------------------

Кстати, немного доработали краулер. Теперь кол-во сайтов, на которых программа циклится должно сократиться 😎

Новый краулер разошлю вместе с обновлением, кому очень срочно - мыло в личку

вот ещё не знаю почему:

http://www.nezamerz.net/test - всего 2 страницы, но оно почемуто лезет дальше на весь сайт.. не пойму в чём дело возможно решётку в Url так обрабатывает...

Начинается не с Html типа...

KupluSsilki добавил 10.12.2009 в 17:54

+ а прога сейчас вроде не понимает ссылок вида '../page.html' ? (на предыдущие папки которые?) (http://www.nezamerz.net/subsite/ исправил, лезет на весь сайт опять..)

ну вот теперь показало. красота

Решетку в ограничения добавил - отобрало только две страницы. Так что дело в ней.

Вообще понимает. Но вот почему она её считала как /subsite/subsub/b.html - х.з. И поскольку по 404 ошибке был редирект на главную, то от неё и полезло по всему сайту.

Получается, можно отрезать 1/2 сайта (папка "en"),.. - но тогда нужного результата не будет, т.к. сайт перелинкован весь, а не по языковой принадлежности.

Даже не знаю грустить или радоваться осознанию факта уникальности двух своих сайтов, но спасибо, что ищете причину, - это вселяет оптимизм.

Ваши сайты, увы, не уникальны. Очень много подобных. Новый краулер выслал. С ним все парсится отлично. И кодировка, как и говорил, не при чем.

Краулер, действительно, помог! Благодарю за помощь, Сергей, - программа теперь работает!