ТС поражаюсь вам - сами участвовали в кидалове, а когда вас кинули "соратнички" - развели теперь хай какие все плохие, один вы молодца.
На вашем месте нужно тихонько сидеть и не отсвечивать, а не выкладывать на серче посты, да еще и с матом (вот ведь клоуны до чего дошли).
арбитражников, какой у вас антивирус то, что вы умудряетесь ловить винлоки? По моему нет такого антивируса, которому можно впарить винлок и он его пропустит.
Лозунги уса вебмастеров:
Америка - для американцев!!! :)
Даешь не зависимый от индусов интернет!!! :)
По сути, кто то там видно надавил на гугла, что зарубежные вм захватывают умы американских граждан и отнимают хлеб насущный у уса разработчиков, вот они и отваживают потихоньку посетителей с чужих сайтов.
(в каждой шутке, как говорится...)
bober, вам трудно что-ли вписать в gwt строки в роботс и протестить урл и убедиться в бредовости allow? (он будет для гугла разрешать все и дальше ничего обрабатываться не будет, а по сущности - бот просто игнорит такой роботс и индексит согласно тегов в страницах).
hasugosu, нет, ваш роботс разрешает все индексить - еще раз повторю - не используется allow в общих правилах роботсов. Вам та же рекомендация - войдите в свой акк в gwt и вбейте проверку любого урла который вы думаете у вас закрыт - гугл скажет вам что он разрешен - строка 2. (но по сути это только стандартная писулька программы-обработчика, реально же, он разрешен потому, что гугл вообще не учитывает роботсы с такими ошибками - не раз отвечалось на форуме гугла людьми отвечающими за алго этого направления).
Странно, что об отказе написали. Обычно если и пишут в третий раз - то пишут какие проблемы у сайта остались (но это и хорошо, потому, как значит, что остальное все в порядке, и если исправить последнее, что написали, то санкции снимут).
Либо приходит стандартная писуля - что с сайтом все ок, и мы не виноваты в том, что он так низко пал - работайте :) Это самое худшее, потому что с сайтом не все ок, а что именно - не ясно.
Отписка автоматом идет что типа письмо дошло - не волнуйтесь. А это отписка что очередь дошла до вашего письма.
kimberlit, вы хоть не много понимаете для чего нужен allow гуглеботу? (и читайте не урезанные урывки русского перевода, а ответы представителей гугла по вопросам роботса в оригинале).
Это не директива управления урлами в основных правилах. Она допустима только в спец-блоках и только для конкретного значения UserAgent этой ПС. Она никогда не будет обработана в UserAgent: * и и никогда не будет обработана даже в спец блоке в виде Allow: /* она совсем другие цели выполняет для ботов разных ПС. Для других ботов может исполнять также совсем иные задачи - и никогда в общих правилах - только в спец-блоках со своим синтаксисом (выдуманным самими компаниями ПС).
Повторю еще раз для одаренных - в правилах robots.txt (в спецификации) - НЕТ директивы Allow.
XPraptor добавил 02.06.2011 в 04:38
Добавлю - для эксперимента создайте роботс с Allow и протестите - и увидите что он всегда будет вам выдавать один и тот же результат - что разрешено (что бы вы там не написали вместе с allow - ничего не будет принято во внимание ввиду ошибочности записи).
А если не лень то создайте два новых одностраничника и засуньте одному такой роботс с allow и закройте что нибудь еще и создайте нормальный роботс - и посмотрите на каком сайте гугл будет игнорить все ваши записи в файле, а на каком будет следовать инструкциям.
Каждый уважающий себя вм уже должен был это сделать, чтобы знать как работает у конкретной пс роботс.
Это так на сайте у вас? Это не есть гуд. Меняйте.
От вас не ожидал:)
Гугл понимает тег allow только для директив регулярных выражений.
Для обычного управления урлами - он не поддерживает эту директиву как и все остальные боты.
XPraptor добавил 02.06.2011 в 02:29
Плюс, даже для регулярок он НЕ гарантирует что правильно станет обрабатывать данную опцию и что ее использование может всетаки допустить попадание или не попадание в индекс желаемых урлов.
ТС, честно ничего не понял. У вас на сайте по разным адресам одинаковые статьи? Или пс там что то отдает одинаковое? Объясните по человечески.
