XPraptor

XPraptor
Рейтинг
333
Регистрация
15.10.2004
Должность
Web Soft Developer
Интересы
Programming

kimberlit, вы хоть не много понимаете для чего нужен allow гуглеботу? (и читайте не урезанные урывки русского перевода, а ответы представителей гугла по вопросам роботса в оригинале).

Это не директива управления урлами в основных правилах. Она допустима только в спец-блоках и только для конкретного значения UserAgent этой ПС. Она никогда не будет обработана в UserAgent: * и и никогда не будет обработана даже в спец блоке в виде Allow: /* она совсем другие цели выполняет для ботов разных ПС. Для других ботов может исполнять также совсем иные задачи - и никогда в общих правилах - только в спец-блоках со своим синтаксисом (выдуманным самими компаниями ПС).

Повторю еще раз для одаренных - в правилах robots.txt (в спецификации) - НЕТ директивы Allow.

XPraptor добавил 02.06.2011 в 04:38

Добавлю - для эксперимента создайте роботс с Allow и протестите - и увидите что он всегда будет вам выдавать один и тот же результат - что разрешено (что бы вы там не написали вместе с allow - ничего не будет принято во внимание ввиду ошибочности записи).

А если не лень то создайте два новых одностраничника и засуньте одному такой роботс с allow и закройте что нибудь еще и создайте нормальный роботс - и посмотрите на каком сайте гугл будет игнорить все ваши записи в файле, а на каком будет следовать инструкциям.

Каждый уважающий себя вм уже должен был это сделать, чтобы знать как работает у конкретной пс роботс.

Это так на сайте у вас? Это не есть гуд. Меняйте.

От вас не ожидал:)

Гугл понимает тег allow только для директив регулярных выражений.

Для обычного управления урлами - он не поддерживает эту директиву как и все остальные боты.

XPraptor добавил 02.06.2011 в 02:29

Плюс, даже для регулярок он НЕ гарантирует что правильно станет обрабатывать данную опцию и что ее использование может всетаки допустить попадание или не попадание в индекс желаемых урлов.

ТС, честно ничего не понял. У вас на сайте по разным адресам одинаковые статьи? Или пс там что то отдает одинаковое? Объясните по человечески.

Случайно, такие ссылки возможны и даже могут принести не хилый вес (как никак аж чужой сайт поставил ссыль :) ). Но систематически - повод для пс заподозрить вас в нечестности :)

ASWQ:
Скоро Search.Mail.ru обгонит гугла по кол-ву трафа на моем сайте...

Не обгонит :) Это одна и та же ПС, только майл еще и с небольшими фильтрами в свою пользу :) (которые и отнимают у вас немного позиций по тем же запросам).

Sower, Это стандартный ответ. Теперь, не известно точно когда, один из сотрудников глянет сайт. И вот если отпишет - это будет прогресс, тогда можно будет надеяться. Если не отпишет - то до месяца ждите а потом все станет ясно - либо да - либо нет (дольше не имеет смысла надеяться чем месяц).

Нет такой директивы Allow. Возможно из за этого и игнорит весь роботс. Третья строка закрывает весь сайт (остальные строки не нужны). Но если из за второй строки гугл решил вообще не рассматривать ваш роботс, тогда будет индексить согласно тегов в страницах.

carl0s, а можно глянуть такие посты в топе по сч (вч даже не нужно), чтобы посмотреть как там разбавляется тайтл и дескрипшен.

stryker, да тут даже не стр пугает - если первый клик у себя мы еще можем проконтролировать в тизерках и потом вайнить что они шейвят и засчитывают например на 10% меньше, то тут - после ухода на их страницу, партнерка сама решает сколько нам вписать кликов и мы это проконтролировать не сможем, поэтому раздолье для шейва полное - да еще новая контора, в общем с такими конторами лучше не связываться.

Всего: 3316