К сожалению они не передают этот параметр в уведомлении.
Добавлена функция экспорта данных.
Теперь можно сохранить в CSV не только список страниц, но и анкор-лист и список внешних/битых ссылок. Так же добавили возможность очистить экспорт и сделать его заново, при внесении изменений в сайт.
Для точного ответа, нужно посмотреть на ваш сайт.
Верить не нужно, нужно думать.
Начнем с того что, вес равный нулю не может быть по определению самого алгоритма веса. Перед расчетом все страницы имеют вес равный 1, и в процессе расчета делят этот вес на количество ссылок. Для того чтобы иметь вес близкий к нулю на главную не должна вести ни одна ссылка с других страниц, хотя на все эти страницы с главной должны быть ссылки. У вас такая структура сайта?
Чтобы уменьшить ошибки сервера (по-большей части 503) для тех сайтах, где они возникают, при "слишком частых" запросах мы ввели поддержку опции "Crawl-delay" в файле robots.txt.
Формат такой:
Crawl-delay: delay
Где delay - время задержки между запросами для одного потока в секундах.
Например:
Crawl-delay: 20 установит задержку в 20 секунд.
Максимальное значение: 50 секунд.
Да, мы все еще ведем разработку версии, позволяющей сканить большие сайты.
Такой функционал добавим и в онлайн версию. Сейчас у нас по графику добавление проверки страниц сайта на проиндексированность поисковиками + расчет веса по этим страницам.
Доплата берется после сканирования если фактическое количество отсканированных страниц больше чем при проверке по поисковикам. Соответственно, вы просто доплачиваете разницу и получаете доступ к результатам.
Давайте разберемся с ощущениями. Сейчас прогнали ваш сайт еще один раз через сканер (результаты в личном кабинете), и петли исчезли. При этом никаких настороек или изменений в сканер не вносилось. Это еще раз говорит о том, что на вашем сайте поисходит динамическая генерация контента.
Сканер может и "глючить", т.к. от сбоев никто не застрахован, а наш сервис новый и сейчас производится его "обкатка". Но в вашем случае сбоев не было.
Посмотрите, кстати динамику проиндексированных страниц яндексом и гуглом, гугл нашел в 3,5 раза больше страниц (это число примерно соотвествует найденному нашим сканером). Вопрос почему? Так же с каждым разом количество страниц в поиске уменьшается, что говорит либо о сокращении страниц на сайте, либо о введении фильтров.
Еще раз повторю свою рекомендацию: внимательно просмотрите код и движок вашего сайта.
Все просто. Наш сканер учитывает инстркуции robots.txt и присваивает статусы страницам на основе этих инструкций. Т.е. вы видите в итоговом отчете какие ссылки ведут на "закрытые" страницы и какой вес на них утекает.
Я имел ввиду, что если вдруг страница запрещена в robots.txt но вдруг попала в отчет со статусом ОК или наоборот - это сбой в работе сканера, и такие ситуации мы стараемся исправлять максимально оперативно.
Так, на этом месте задержимся. Наши сканеры всегда учитывают robots.txt при работе. Если какие-то инструкции из вашего были проигнорированы или интерпретированы не правильно - пожалуйста сообщите нам об этом. С уточнением того, что по-вашему мнению, сработало неверно.
Так петля на то и петля, что никогда не разорвется. Мы регулярно отслеживаем петли, и разбираемся с причинами. На основании найденных петель дорабатываются фильтры чтобы избегать их в будущем. После добавления фильтра сканирование, как правило, перезапускается (без дополнительной оплаты). Так что никто вам не выставит счет на миллионы. :)
Напишите в личку с каким сайтом работаете. Проверим. Исравим.
