Page Weight Online. Сервис для парсинга и расчета весов страниц сайтов.

Сделайте, пожалуйста, возможность УДАЛИТь результаты сканирования сайта.

Сейчас захотел добавить один из проблемных сайтов с учетом новой настройки - не дает, пишет - уже есть такой сайт.

Доабвили такую возможность.

Так же убрали ограничение по добавляемому сайту. Теперь вы можете добавить один сайт разными заданиями с разными настройками, и сравнить результаты.

прикольный сервис. заставил задуматься и немного запутаться.

итак, запустил анализ одного домена.

вначале запустил без www

вижу, что http://domen.info имеет статус: Перемещено: http://www.domen.info/ - ок, это понятно, там 301 редирект средствами htaccess с без www на www. Вижу максимальный вес = 1.

Рядом внутренняя страница (на нее есть ссылки со всех страниц сайта), вес = 1, ок тоже могу понять.

потом запустил с www

та же внутренняя страница опять имеет вес = 1.

но http://www.domen.info/ имеет вес = 0.0406669512. вот это уже не понятно, ведь по идее если с http://domen.info идет редирект на http://www.domen.info, то вес должен передаваться... ?

или может у меня что напутано с натсройками редиректа? к слову сказать, я стараюсь чтобы сайт без www нигде не фигурировал и старался все настроить таким образом.

смотрю далее, в урлах есть адреса на js файлы, прописанные в head'e... это наверно не гуд?

ну, а вот эта цитата мне просто сломала мозг:

ведь поидее очень важно определить как распределяется вес по сайту, чтобы наиболее сильные страницы продвигали наиболее сложные в продвижении слова. Т.е. если в данном случае 1 значит, что вес не расчитан, то по идее мы не видим есть ли проблемы с передачей максимального веса на главную...?

или же в моем случае можно быть спокойным если главная имеет 0.0406669512 и это максимальный показатель по всем урлам?

Та внутренняя страница с 1 была со статусом 200ОК (без ошибок)?

Дело в том, что 1 - это стартовый вес страницы. Поэтому, если страница в расчете не участвует, то просто выводится именно этот стартовый вес.

Вес по ссылкам из head. На данный момент их убрать несколько проблематично, т.к. нет обработчика текста страницы, но в целом на общую картину они не влияют. Т.к. ссылки идут сквозные, то убрав их из расчета, вес распределиться по сайту в тех же пропорциях, в которых он есть сейчас.

да, статус - ок

Вопрос такого характера: имеем некую сумму всех весов страниц сайта, при добавлении нескольких внутренних ссылок сумма должна расти?

Скиньте УРЛ сайта и проблемной страницы в личку, или в саппорт через форму на сайте (туда даже лучше), посмотрю.

При добавлении ссылок - нет. При добавлении страниц - да.

Чтобы уменьшить ошибки сервера (по-большей части 503) для тех сайтах, где они возникают, при "слишком частых" запросах мы ввели поддержку опции "Crawl-delay" в файле robots.txt.

Формат такой:

Crawl-delay: delay

Где delay - время задержки между запросами для одного потока в секундах.

Например:

Crawl-delay: 20 установит задержку в 20 секунд.

Максимальное значение: 50 секунд.

Сергей, возникли три вопроса:

1)Поддерживает ли online версия директивы robots.txt, и если да то как можно просканировать сайт пока запрещенный к индексации директивой

User-agent: *

Disallow: /

?

2)Сканируются ли ссылки в блоках выводящихся javasсript, и рассчитывается ли соответсвенно их вес?

3)Рассчитывается ли вес для ссылок в noidex и nofollow?

1) Да, поддерживает. На данный момент ни как. В Lite версии можно использовать user-agent: pageweight и разрешить только ему. В Online такого пока нет.

2) Нет

3) Noindex идет как обычная ссылка (этот тэг парсер не обрабатывает вообще), nofollow игнорирует полностью. Т.е. если ссылка с этим атрибутом, то парсер считает, что её нет совсем.