Sterh

Sterh
Рейтинг
226
Регистрация
15.06.2006

По jquery вот Вам от Бурундука хороший материал: http://www.allave.ru/test/index.html

d4k:


Исключения вида mysite.com/* и mysite.com* или просто mysite.com/ и mysite.com чтобы пройтись только по всем ссылкам из mysite.com/blog/ не работают... Может у меня таки лыжи не едут и я делаю что-то не так? 🙅

Прошу прощения, что не сразу ответил - думали, как реализовать...

Боюсь, что не получится все таки, т.к. робот должен все равно пройти по всему сайту, что бы убедиться, что не пропустил страницы.

В качестве "костыля" для решения Вашей задачи, можно использовать какой либо парсер выдачи и запрос вида: site:www.site.ru/razdel

john_black:
ветку всю не читал, засунул сайт там в гуглоиндексе 45к страниц, прога не смогла проработать на 3к гд то вылетело окошко от винды что программа прекращает работу, пробовал с мелкими сайтами 200 -300 страниц - все ок
windows7 64 бита, процессор Core i7
собственно вопрос возможно ли просчитать большой, объемный сайт? может проблема именно в 64битах?

Нет, на данный момент прога большие сайты не тянет. Но есть серверная версия - Page Weight Online, которая вытягивает любые сайты.

fubzy:
УВ понимается как количество кликов от главной страницы. Данная функция полезна, если анализируется большой сайт с большим количеством продвигаемых запросов. Она позволит найти страницы с УВ ниже 2 и на основе этой информации создать нужные УВ страниц.
Спасибо за ответы :)

Все равно не улавливаю связь между УВ и продвижением страниц. Ну есть куча запросов, к ним куча страниц - ну и двигайте. При чем тут УВ.

Он играл хоть какую-то роль два-три года назад, когда ссылки в основном покупались на морду, а далее вес перетекал по внутренним ссылкам.

Сейчас УВ это атавизм.

fubzy:
Спасибо за программу, Sterh.
Но хотелось бы видеть и такие возможности в ней:
1. Коды ответа сервера для каждой страницы (200, 404, 301, 302...).
2. Информация о редиректах: с какой страницы и куда ведет редирект, с каким кодом.
3. Уровень вложенности страницы.
4. Размер страницы, кб.
5. Циклические ссылки - те, которые ссылаются сами на себя.

Планируете ли развитие функционала программы?

Спасибо за отзыв :)

1.2. - это есть в он-лайн сервисе. В Lite обещать не буду.

3 - вот честно говоря не вижу смысла абсолютно. Учитывая, что сейчас в основном продвигают внутренние страницы, такое понятие как уровень вложенности становится относительным (если воспринимать его как количество кликов от точки входа).

4. В принципе можно, но если будем подключать п.п.1 и 2

5. ... ну.. в принципе можно их не удалять, а выводить в окно к битым ссылкам... подумаем

Ну а над развитием работаем постоянно :)

mextar:
В списке исключений есть файл index.php и если его там нет - на результаты сканирования это не влияет. Главная страница index.php в результатах сканирования присутствует. В какой момент пользоваться "исключениями" для 100% исключения главной страницы index.php?

Перед запуском сканирования. Настройки можно сохранять.

Realtim:
А можно ли как-то исключать из структуры скозные ссылки, которые, как известно, в некотором роде игнорируются поисковиками и передают только статический вес.

Было бы классно как то реализовать эту функцию в дестопной проге или онлайн-сервисе.

Кому это известно? Откуда это известно? ..

Десктоп вообще считает только статический вес. Вес на анкор есть только в Он-лайне.

Тематику берите ту, в которой сами разбираетесь. Коммерческий сектор уже практически весь конкурентен, так что особой разницы нет, куда влезать.

buligindim:
нет
например на странице одного товара (например: лесобазаТОЧКАрф/products/evrovagonka_sort_a/)
написан текст (статья) который визуально находится на вкладке "описание товара"
в нем (в тексте) перелинковка на страницу другого товара (например: лесобазаТОЧКАрф/products/evrovagonka_sort_extra/)

В указанном примере "потерянная" ссылка стоит с атрибутом rel=nofollow

Что бы такие ссылки учитывались, нужно при начале парсинга поставить галку "игнорировать nofollow"

Либо поставить галку "Считать закрытые ссылки внешними". Тогда эти ссылки будут рассчитаны как внешние и будут отображаться в соответствующей вкладке окна программы.

Что-то не совсем понял. Вы имеете ввиду ссылки между "табами" страницы? Так если по факту они находятся на одной странице, ты ссылку саму на себе программа не учитывает.

Всего: 2038