Page Weight. Программа для настройки перелинковки сайта . Часть 2

На сколько проверен метод сокрытия ссылок от утечки статического веса, изложенный на http://www.page-weight.ru/theory/article/4/? Методов распределения веса через сокрытие действительно много, но отношение членов сообщества к методам далеко неоднозначное. Понятно, что сервис при расчете не выводит вес через такое сокрытие. Понятно, что это только модель, гипотеза. Но даже небольшие отличия "в реальности" приводят к абсолютно иной картине распределения веса, из-за чего использовать модель в связке с методом сокрытия ссылок просто бессмысленно.

Мы бы с радостью называли каждый раз конкретную стоимость, если бы точно знали количество страниц сайта. Но зачастую эта циферка не известна даже самому владельцу сайта.

В большинстве случаев, поисковики показывают цифру, близкую к реальной. На её основе расчитывается ориентировочная стоимость. Мы можем найти больше или меньше страниц. Если больше, то требуется доплата, если меньше - деньги возвращаются на счет.

Если какой-то сбой (например сайт генерирует дублирующие или пустые страницы), парсинг может быть остановлен, добавлен фильтр и перезапущен. При этом два раза считать стоимость не будем.

Так же, если возникли другие сбои (как например было - спарсилось два варианта сайта - с www и без оного), то всегда можете отписать в тех поддержку, обязательно рассмотрим и вернем то, что взяли лишнего.

Ну а на 30К рублей - это должно быть 30 млн. страниц :)

Прогу нет, сервис да.

Sterh, сервис не интересует, нужна именно прога. Будет?

Ковыряем...

> В большинстве случаев, поисковики показывают цифру, близкую к реальной. На её основе расчитывается ориентировочная стоимость. Мы можем найти больше или меньше страниц. Если больше, то требуется доплата, если меньше - деньги возвращаются на счет.

поисковики показывают количество страниц исходя из robots.txt.Ваша же программа скачала в моем сайте страницы игнорирую robots.txt. Соотвественно получилось в 10 раз больше страниц. На другом сайте программа "При сканировании вашего сайта возможно обнаружена "петля" из ссылок, при которой происходит зацикливание сканера. На данный момент отсканировано уже более миллиона страниц" :) просто вот и страшно что там программа зайдет в какую то закрытую рубрику, где программист тупит и там наскачивает миллионы петель ссылок.

Так, на этом месте задержимся. Наши сканеры всегда учитывают robots.txt при работе. Если какие-то инструкции из вашего были проигнорированы или интерпретированы не правильно - пожалуйста сообщите нам об этом. С уточнением того, что по-вашему мнению, сработало неверно.

Так петля на то и петля, что никогда не разорвется. Мы регулярно отслеживаем петли, и разбираемся с причинами. На основании найденных петель дорабатываются фильтры чтобы избегать их в будущем. После добавления фильтра сканирование, как правило, перезапускается (без дополнительной оплаты). Так что никто вам не выставит счет на миллионы. :)

ок. сейчас отпишу тогда в поддержку к вам.

---------- Добавлено 06.04.2012 в 17:58 ----------

exp131, Там был мой косяк по роботс.тхт, я забыл что прописал только для яндекса.

Но павда почему то тех поддержка ответила "и к тому же наш сканер это инструмент анализа сайта, который позволяет вам увидеть его со стороны поисковой системы. Включая и запрещенные в robots.txt страницы."

А Вы, exp131, пишите ". Наши сканеры всегда учитывают robots.txt при работе. Если какие-то инструкции из вашего были проигнорированы или интерпретированы не правильно - пожалуйста сообщите нам об этом. С уточнением того, что по-вашему мнению, сработало неверно."

Так я не понял, если закрыто от индексации он же не будет учитывать или нет. А то мне кажется разные вещи пишите Вы и тех поддержка.

Все просто. Наш сканер учитывает инстркуции robots.txt и присваивает статусы страницам на основе этих инструкций. Т.е. вы видите в итоговом отчете какие ссылки ведут на "закрытые" страницы и какой вес на них утекает.

Я имел ввиду, что если вдруг страница запрещена в robots.txt но вдруг попала в отчет со статусом ОК или наоборот - это сбой в работе сканера, и такие ситуации мы стараемся исправлять максимально оперативно.

У Вас несколько различались группы деректив для Яндекса и для других роботов. Мы не Яндекс :) Поэтому руководствовались инструкциями для User-agent: *

Если вы хотели закрыть определенный раздел не только для Яндекса, но и для всех роботов, то получается, что сервис указал на ошибку в оптимизации сайта.

Собственно это и имелось ввиду, когда говорилось, что сервис помогает посмотреть на сайт глазами поисковых ботов.

Очень часто вэбмастера узнают про существование страниц, о которых они и не подозревали, о битых ссылках, не правильных редиректах и т.д. и т.п.

И иногда пустяковая ошибка может мешать вывести сайт в ТОП.

Если бы я хотел закрыть для всех, то я бы закрыл. Я же не в претензии, мы же вроде все проплатили. Или какие то проблемы по проплате, что Вы решили еще раз рассказать про Яндекс ? За яндекс вроде и так ясно. Зачем размазывать кашу по чистому столу ?

По поводу сервиса, остаюсь при своем мнение, что непрозрачное ценобразование не удобно. Если бы можно было купить программу и не заморачиваться это одно. А загоняться именно, сколько там нужно доначислять денег и не нашел ли он какие то файлы которые не нужно находить, и которые закрыли в роботсе специально, плюс дополнительные переписки это не удобно. Как то с Xenu попроще, хотя у нее функционал более урезанный конечно. Это мое лично мнение, не кому его не навязываю.

Надеюсь я вредный просто или чего то не понял. Удачи Вам.