Ставь кейкапчу, даже если нету готового плагина для дле, установить ее будет легко с пару изменениями в файле регистрации. Капча непробиваемая ботами +юзерам не надо ламать зрения на рекапчу.
Значит эти правила пересекаются с другими которые приводят к зацикливанию.
Как вариант
RewriteCond %{ENV:REDIRECT_STATUS} ^$
RewriteCond %{QUERY_STRING} page=([^&]*)
RewriteRule ^(index\.php)?$ /%1? [R=301,L]
Full version
RewriteRule ^index\.php$ /%1? [R=301,L]
Savanna2009, http://pastebin.com/TSqjFLLd
Эту ошибку лучше исправить, и оставить только верный вариант. На левую директиву он может запнутся и вовсе проигнорировать роботс.
User-agent: bingbot
User-agent: msnbot
Allow: /
Crawl-delay: 10
Odysseus, если делаете какие-то опровержения, пишите пожалуйста ниже, не исправляйте свой пост.
А если бабушке приделать что-нибудь, то..
Это у вас много чего разрешено, а у меня разрешено (по правилам гугла) конкретно то что мне нужно - index.php?page, остальной index.php запрещен. А больше на сайте я ничего не хочу запрещать для индексации.
Еще раз повторяю - это было приведено только как пример, так как анализатор у гугла и у яндекса имеют небольшие отличия в нюансах следования директив, и эти примеры явно это доказывают.
siv1987 добавил 09.12.2011 в 04:44
А теперь еще раз почитайте мой второй пост с предыдущей страницы, еще раз почитайте, а потом еще раз почитайте то что я написал в конце того поста.
Спасибо кэп, впервые об это узнал.
Да да, новый раздел...
А вы не подумали, что я хочу разрешать только index.php который содержит параметр page и исключить index.php со всеми остальными параметрами? Не?
Может примеры и не очень живые, за то наглядно показывают как именно работает анализатор у гугла. А товарищам советую еще раз почитать четкую документацию, для начало у яндекса - очень доступная для понимания, потом сравнить ее с анализатором гугла. Кстати, эти примеры тоже можете проверить в яндексе и гугле вебмастере, и посмотреть на результат.
А зачем закрывать языки от индексации? Вам просто говорят не делать всяких редиректов, и не заниматься геотаргетингом на одном урл адресе, а остальное пусть себе индексирует. ру копия /rus/, ен - /en/ и тд (какая у вас структура построения урл будет я не знаю)
Да, у гугла этот тупой анализатор, там у них не в порядке следования а в уровне вхождения.
Т.е.
точное вхождение в URL: A и D - приоритет у A. очередность неважна
наибольшее вхождение в URL: A - приоритет у A. очередность неважна
наибольшее вхождение в URL: D - приоритет у D. очередность также не играет роли.
Где A - Allow; D - Disallow; URL - URL
I
Disallow: /index.php
Allow: /index.php?page
/index.php?page=23 - разрешен
/index.php - заблокирован
II
/index.php?page=23 - запрещен
/ - разрешен
Хотя лучше все директивы Allow писать вначале, во первых нет смысла что-то разрешать, потом это же запрещать, во вторых - это делает запреты совместимы с остальными ботами которые понимают аллоу (с яндексом по крайней мере).
Изменить href пункт меню "/главная_страница" на "/"
