Новая, уникальная программа для перелинковки сайта и проверки площадок

Жду серверную, напомните если она случится у вас ) Контакты в личке

DmitryShustov добавил 09.09.2008 в 16:55

Возник вопрос о том как работает программа ))) Сейчас уже второй сайт сканирую... первый заабортил на 5й тысяче страниц, т.к. там нет в реале столько страниц. Сейчас второй попроще (уже сателлит) сканируется и уже вижу 957 страниц, их там точно быть не может... он чего по ссылкам внешним всем шарится чтоли?

Можно УРЛы в личку?

Судя по отзывам программа еще сыра, частые ошибки.

Очень жду стабильной версии.

Вопрос лицензирования не ясен, за 20wmz, обновления как ? всегда?

Да, обновления с иправленными глюками, учетом небольших пожеланий и т.д. будут рассылаться бесплатно.

Ошибки пока было две мелких и одна более глобальная. Две мелких (с robots и кодировкой) решаются путем снятия галочек в интерфейсе, но думаю в ближайшие день-два и их подправим.

Более серезная ошибка, связанная со сканированием сайта, связана скорее всего с разметкой УРЛов на самом сайте. Исправляем.

Так что ближайшее обновление разолю завтра - послезавтра.

Каков алгоритм парсинга если не секрет? Чтото она очень долго "думает"... У меня паук на пыхе летает намного шустрее...

Может дело в том что надо отсеивать неуникальные линки после скана каждой страницы? (Сужу по "Найдено ссылок: 112405" :)) - не угадал случаем?

Отсеивали... еще хуже получается. Сайт 1200 страниц и 140000 ссылок сканила примерно 35 минут.

ИМХО конечно, но большое количество ссылок на каждой странице (например меню, в которое включены все страницы сайта) не есть гуд. У меня есть клиент (вот тот как раз, где 1400000 ссылок), так после проверки этого сайта программой, решили сделать навигацию более человеческой :) Сейчас структурируем сайт, линкуем по группам, вытягиваем наибольший вес на титульную :)

Веса - весами, а юзабили, в т.ч. навигация, у моих многоссылочных сайтов меня и клиентов полностью устраивает к примеру (в среднем на странице ИМ чуть более 150 ссылок).

Сейчас все еще парсю его вашим софтом, потом своим прогоню ради интереса уже )) жалко что пых повесится считать вес страницы по формуле из указанного вами источника, я бы попробовал поизвращаться :)

Кстати: рекомендую спланировать тулзу для ручного составления карты сайта, для пробы расчета весов страниц без парсинга с учетом данных морды и еще нескольких страниц стандартных (нечтно похожее +- на реальность чтобы высчитывать) )) Я уже второй раз нажал "Отмена" - не выдержал ожидания :)

Вот на неё задумчивость нападает как раз, когда много ссылок идет сквозняком, бо все в памяти держит. В серверной версии, думаю, сумеем от этого избавиться.

Ради спортивного интереса натравил программку на газету "Взгляд" :) За пол часа сканирования вытащила 3500 страниц и 230000 ссылок. Травля продолжается :)

Да Господь с Вами! Какой мазохист будет руками расставлять и распределять связи хотя бы сотни страниц? Или я что-то не так понял?

Я так понимаю он по всем этим сквознякам и гуляет так долго туда-обратно? Тогда идеал после каждой страницы убирать неуникальные ссылки из общей базы паука.

:)

Не так. Я имею ввиду что:

1. Парсим морду, парсим шаблон сайта (не меняющая масса ссылок на каждой странице)

2. Задаем кучку параметров, как то: кол-во страниц x типа (рубрик), y типа (товаров), z типа (новостей) и т.п.

3. Исходя из этих данных веса высчитываем.

Т.е. берем частично парсенный сайт + общий шаблон связей + надо подумать что еще и высчитываем тож самое. Получится некий результат с некими неточностями.

Теперь понял. Надо подумать.

Кстати, "травля" продолжается. 2 часа работы - почти 10000 страниц и 600000 ссылок. Пока не абртил, жду, что получится :)