- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Жду серверную, напомните если она случится у вас ) Контакты в личке
DmitryShustov добавил 09.09.2008 в 16:55
Возник вопрос о том как работает программа ))) Сейчас уже второй сайт сканирую... первый заабортил на 5й тысяче страниц, т.к. там нет в реале столько страниц. Сейчас второй попроще (уже сателлит) сканируется и уже вижу 957 страниц, их там точно быть не может... он чего по ссылкам внешним всем шарится чтоли?
Жду серверную, напомните если она случится у вас ) Контакты в личке
DmitryShustov добавил 09.09.2008 в 16:55
Возник вопрос о том как работает программа ))) Сейчас уже второй сайт сканирую... первый заабортил на 5й тысяче страниц, т.к. там нет в реале столько страниц. Сейчас второй попроще (уже сателлит) сканируется и уже вижу 957 страниц, их там точно быть не может... он чего по ссылкам внешним всем шарится чтоли?
Можно УРЛы в личку?
Судя по отзывам программа еще сыра, частые ошибки.
Очень жду стабильной версии.
Вопрос лицензирования не ясен, за 20wmz, обновления как ? всегда?
Судя по отзывам программа еще сыра, частые ошибки.
Очень жду стабильной версии.
Вопрос лицензирования не ясен, за 20wmz, обновления как ? всегда?
Да, обновления с иправленными глюками, учетом небольших пожеланий и т.д. будут рассылаться бесплатно.
Ошибки пока было две мелких и одна более глобальная. Две мелких (с robots и кодировкой) решаются путем снятия галочек в интерфейсе, но думаю в ближайшие день-два и их подправим.
Более серезная ошибка, связанная со сканированием сайта, связана скорее всего с разметкой УРЛов на самом сайте. Исправляем.
Так что ближайшее обновление разолю завтра - послезавтра.
Каков алгоритм парсинга если не секрет? Чтото она очень долго "думает"... У меня паук на пыхе летает намного шустрее...
Может дело в том что надо отсеивать неуникальные линки после скана каждой страницы? (Сужу по "Найдено ссылок: 112405" :)) - не угадал случаем?
Каков алгоритм парсинга если не секрет? Чтото она очень долго "думает"... У меня паук на пыхе летает намного шустрее...
Может дело в том что надо отсеивать неуникальные линки после скана каждой страницы? (Сужу по "Найдено ссылок: 112405" :)) - не угадал случаем?
Отсеивали... еще хуже получается. Сайт 1200 страниц и 140000 ссылок сканила примерно 35 минут.
ИМХО конечно, но большое количество ссылок на каждой странице (например меню, в которое включены все страницы сайта) не есть гуд. У меня есть клиент (вот тот как раз, где 1400000 ссылок), так после проверки этого сайта программой, решили сделать навигацию более человеческой :) Сейчас структурируем сайт, линкуем по группам, вытягиваем наибольший вес на титульную :)
Веса - весами, а юзабили, в т.ч. навигация, у моих многоссылочных сайтов меня и клиентов полностью устраивает к примеру (в среднем на странице ИМ чуть более 150 ссылок).
Сейчас все еще парсю его вашим софтом, потом своим прогоню ради интереса уже )) жалко что пых повесится считать вес страницы по формуле из указанного вами источника, я бы попробовал поизвращаться :)
Кстати: рекомендую спланировать тулзу для ручного составления карты сайта, для пробы расчета весов страниц без парсинга с учетом данных морды и еще нескольких страниц стандартных (нечтно похожее +- на реальность чтобы высчитывать) )) Я уже второй раз нажал "Отмена" - не выдержал ожидания :)
Веса - весами, а юзабили, в т.ч. навигация, у моих многоссылочных сайтов меня и клиентов полностью устраивает к примеру (в среднем на странице ИМ чуть более 150 ссылок).
Вот на неё задумчивость нападает как раз, когда много ссылок идет сквозняком, бо все в памяти держит. В серверной версии, думаю, сумеем от этого избавиться.
Сейчас все еще парсю его вашим софтом, потом своим прогоню ради интереса уже )) жалко что пых повесится считать вес страницы по формуле из указанного вами источника, я бы попробовал поизвращаться :)
Ради спортивного интереса натравил программку на газету "Взгляд" :) За пол часа сканирования вытащила 3500 страниц и 230000 ссылок. Травля продолжается :)
Кстати: рекомендую спланировать тулзу для ручного составления карты сайта, для пробы расчета весов страниц без парсинга с учетом данных морды и еще нескольких страниц стандартных (нечтно похожее +- на реальность чтобы высчитывать) )) Я уже второй раз нажал "Отмена" - не выдержал ожидания :)
Да Господь с Вами! Какой мазохист будет руками расставлять и распределять связи хотя бы сотни страниц? Или я что-то не так понял?
Вот на неё задумчивость нападает как раз, когда много ссылок идет сквозняком, бо все в памяти держит. В серверной версии, думаю, сумеем от этого избавиться.
Я так понимаю он по всем этим сквознякам и гуляет так долго туда-обратно? Тогда идеал после каждой страницы убирать неуникальные ссылки из общей базы паука.
Ради спортивного интереса натравил программку на газету "Взгляд" За пол часа сканирования вытащила 3500 страниц и 230000 ссылок. Травля продолжается
:)
Или я что-то не так понял?
Не так. Я имею ввиду что:
1. Парсим морду, парсим шаблон сайта (не меняющая масса ссылок на каждой странице)
2. Задаем кучку параметров, как то: кол-во страниц x типа (рубрик), y типа (товаров), z типа (новостей) и т.п.
3. Исходя из этих данных веса высчитываем.
Т.е. берем частично парсенный сайт + общий шаблон связей + надо подумать что еще и высчитываем тож самое. Получится некий результат с некими неточностями.
1. Парсим морду, парсим шаблон сайта (не меняющая масса ссылок на каждой странице)
2. Задаем кучку параметров, как то: кол-во страниц x типа (рубрик), y типа (товаров), z типа (новостей) и т.п.
3. Исходя из этих данных веса высчитываем.
Т.е. берем частично парсенный сайт + общий шаблон связей + надо подумать что еще и высчитываем тож самое. Получится некий результат с некими неточностями.
Теперь понял. Надо подумать.
Кстати, "травля" продолжается. 2 часа работы - почти 10000 страниц и 600000 ссылок. Пока не абртил, жду, что получится :)