В текущей версии возможности экспорта нет. В следующей сделаем. (Сроки не спрашивайте, работаем).
Код, это не только страница.
Вам еще раз говорю - не умеет ни Lite, ни On-Line придумывать урлы и ссылки. Если их нашли, то они там были. Откуда они берутся - Вам лучше знать, т.к. это Ваш сайт.
Если каждый раз при сканировании у Вас разная структура сайта, то это ж🙅па. И работа оптимизатора найти дырку в этой самой, и заткнуть её. Или нанять специалиста.
У любой ПС, помимо парсера, еще имеются обработчики текста страниц и хренова туча фильтров, которые позволяют не парсить "вечные календари", петли и прочую хрень.
У нас же на данный момент, голая ссылочная структура. Которую и показывает парсер. И если парсер показывает что-то не то, то это что-то не то с вероятностью 99% сидит в сайте, а не парсере.
Попробуйте прогнать сайт на каком либо другом движке. Думаю вопросы отпадут. В 99% случаев, "странности", которые выдает парсер есть результат кривого кода сайта.
И собственно "странности" - это не повод кричать, что сервис или софт кривой, а сигнал вэб-мастеру, что с сайтом что-то не так.
Сравнили во втором случае анкоры. Разница - 3 шт., и это битриксовская капча.
У Вас несколько различались группы деректив для Яндекса и для других роботов. Мы не Яндекс :) Поэтому руководствовались инструкциями для User-agent: *
Если вы хотели закрыть определенный раздел не только для Яндекса, но и для всех роботов, то получается, что сервис указал на ошибку в оптимизации сайта.
Собственно это и имелось ввиду, когда говорилось, что сервис помогает посмотреть на сайт глазами поисковых ботов.
Очень часто вэбмастера узнают про существование страниц, о которых они и не подозревали, о битых ссылках, не правильных редиректах и т.д. и т.п.
И иногда пустяковая ошибка может мешать вывести сайт в ТОП.
Ковыряем...
Мы бы с радостью называли каждый раз конкретную стоимость, если бы точно знали количество страниц сайта. Но зачастую эта циферка не известна даже самому владельцу сайта.
В большинстве случаев, поисковики показывают цифру, близкую к реальной. На её основе расчитывается ориентировочная стоимость. Мы можем найти больше или меньше страниц. Если больше, то требуется доплата, если меньше - деньги возвращаются на счет.
Если какой-то сбой (например сайт генерирует дублирующие или пустые страницы), парсинг может быть остановлен, добавлен фильтр и перезапущен. При этом два раза считать стоимость не будем.
Так же, если возникли другие сбои (как например было - спарсилось два варианта сайта - с www и без оного), то всегда можете отписать в тех поддержку, обязательно рассмотрим и вернем то, что взяли лишнего.
Ну а на 30К рублей - это должно быть 30 млн. страниц :)
Прогу нет, сервис да.
Что-то Вы не так закрыли. Вес должен упасть не на 1 пункт, а до единицы (стартового веса страницы).
Убирая сквозную ссылку, вес, который доставался не нужной странице, распределяется по сайту в тех же пропорциях, что и остальной.
Скиньте УРЛ сайта и проблемной страницы в личку, или в саппорт через форму на сайте (туда даже лучше), посмотрю.
При добавлении ссылок - нет. При добавлении страниц - да.
Та внутренняя страница с 1 была со статусом 200ОК (без ошибок)?
Дело в том, что 1 - это стартовый вес страницы. Поэтому, если страница в расчете не участвует, то просто выводится именно этот стартовый вес.
Вес по ссылкам из head. На данный момент их убрать несколько проблематично, т.к. нет обработчика текста страницы, но в целом на общую картину они не влияют. Т.к. ссылки идут сквозные, то убрав их из расчета, вес распределиться по сайту в тех же пропорциях, в которых он есть сейчас.
По поводу удобства использования десктопа для парсинга и расчета сайта на локалке я уже согласился.
Что касается сервиса, повторюсь. На скорость его затачивать бессмысленно. Поскольку просто пойдут ошибки. Та скорость, что есть сейчас - установлена экспериментальным путем, и на данный момент является оптимальной.
И для большого количества клиентов (количества обрабатываемых сайтов), нужно увеличивать не скорость (увеличивать кол-во потоков, сокращать паузу между запросами), а наращивать парк серверов.
