Odysseus, если делаете какие-то опровержения, пишите пожалуйста ниже, не исправляйте свой пост.
Odysseus: В примере I, если поменять директивы Allow, Disallow местами, то:
А если бабушке приделать что-нибудь, то..
Odysseus: Сам домен, к примеру, разрешён и много ещё чего разрешено, по сути...
Это у вас много чего разрешено, а у меня разрешено (по правилам гугла) конкретно то что мне нужно - index.php?page, остальной index.php запрещен. А больше на сайте я ничего не хочу запрещать для индексации.
Еще раз повторяю - это было приведено только как пример, так как анализатор у гугла и у яндекса имеют небольшие отличия в нюансах следования директив, и эти примеры явно это доказывают.
siv1987 добавил 09.12.2011 в 04:44
Odysseus: User-agent: *
Allow: /index.php?page
Disallow: /index.php?
но не наоборот.
А теперь еще раз почитайте мой второй пост с предыдущей страницы, еще раз почитайте, а потом еще раз почитайте то что я написал в конце того поста.
Odysseus: Каждый раздел robots.txt начинается с User-agent
Спасибо кэп, впервые об это узнал.
Каждый новый раздел заставляет игнорировать значение предыдущего:
Да да, новый раздел...
Ну и впримере I не понятно зачем Allow: /index.php?page в разделе, где Disallow: только для /index.php? !
А вы не подумали, что я хочу разрешать только index.php который содержит параметр page и исключить index.php со всеми остальными параметрами? Не?
Может примеры и не очень живые, за то наглядно показывают как именно работает анализатор у гугла. А товарищам советую еще раз почитать четкую документацию, для начало у яндекса - очень доступная для понимания, потом сравнить ее с анализатором гугла. Кстати, эти примеры тоже можете проверить в яндексе и гугле вебмастере, и посмотреть на результат.
ivmas: А как тогда закрыть от индексации остальные языки, все кроме основного?
А зачем закрывать языки от индексации? Вам просто говорят не делать всяких редиректов, и не заниматься геотаргетингом на одном урл адресе, а остальное пусть себе индексирует. ру копия /rus/, ен - /en/ и тд (какая у вас структура построения урл будет я не знаю)
Да, у гугла этот тупой анализатор, там у них не в порядке следования а в уровне вхождения.
Т.е.
точное вхождение в URL: A и D - приоритет у A. очередность неважна
наибольшее вхождение в URL: A - приоритет у A. очередность неважна
наибольшее вхождение в URL: D - приоритет у D. очередность также не играет роли.
Где A - Allow; D - Disallow; URL - URL
I
Disallow: /index.php
Allow: /index.php?page
/index.php?page=23 - разрешен
/index.php - заблокирован
II
Allow: /
Disallow: /index.php
/index.php?page=23 - запрещен
/ - разрешен
Хотя лучше все директивы Allow писать вначале, во первых нет смысла что-то разрешать, потом это же запрещать, во вторых - это делает запреты совместимы с остальными ботами которые понимают аллоу (с яндексом по крайней мере).
Значит эти правила пересекаются с другими которые приводят к зацикливанию.
Как вариант
RewriteCond %{ENV:REDIRECT_STATUS} ^$
RewriteCond %{QUERY_STRING} page=([^&]*)
RewriteRule ^(index\.php)?$ /%1? [R=301,L]
Full version
RewriteCond %{QUERY_STRING} page=([^&]*)
RewriteRule ^index\.php$ /%1? [R=301,L]
Savanna2009, http://pastebin.com/TSqjFLLd
как видно, даже с такой же ошибкой, как у вас, может ему так больше нравится
Эту ошибку лучше исправить, и оставить только верный вариант. На левую директиву он может запнутся и вовсе проигнорировать роботс.
User-agent: bingbot
User-agent: msnbot
Allow: /
Crawl-delay: 10
Odysseus, если делаете какие-то опровержения, пишите пожалуйста ниже, не исправляйте свой пост.
В примере I, если поменять директивы Allow, Disallow местами, то:
А если бабушке приделать что-нибудь, то..
Сам домен, к примеру, разрешён и много ещё чего разрешено, по сути...
Это у вас много чего разрешено, а у меня разрешено (по правилам гугла) конкретно то что мне нужно - index.php?page, остальной index.php запрещен. А больше на сайте я ничего не хочу запрещать для индексации.
Еще раз повторяю - это было приведено только как пример, так как анализатор у гугла и у яндекса имеют небольшие отличия в нюансах следования директив, и эти примеры явно это доказывают.
siv1987 добавил 09.12.2011 в 04:44
User-agent: *
Allow: /index.php?page
Disallow: /index.php?
но не наоборот.
А теперь еще раз почитайте мой второй пост с предыдущей страницы, еще раз почитайте, а потом еще раз почитайте то что я написал в конце того поста.
Каждый раздел robots.txt начинается с User-agent
Спасибо кэп, впервые об это узнал.
Да да, новый раздел...
А вы не подумали, что я хочу разрешать только index.php который содержит параметр page и исключить index.php со всеми остальными параметрами? Не?
Может примеры и не очень живые, за то наглядно показывают как именно работает анализатор у гугла. А товарищам советую еще раз почитать четкую документацию, для начало у яндекса - очень доступная для понимания, потом сравнить ее с анализатором гугла. Кстати, эти примеры тоже можете проверить в яндексе и гугле вебмастере, и посмотреть на результат.
А как тогда закрыть от индексации остальные языки, все кроме основного?
А зачем закрывать языки от индексации? Вам просто говорят не делать всяких редиректов, и не заниматься геотаргетингом на одном урл адресе, а остальное пусть себе индексирует. ру копия /rus/, ен - /en/ и тд (какая у вас структура построения урл будет я не знаю)
Для google - пофиг.
Да, у гугла этот тупой анализатор, там у них не в порядке следования а в уровне вхождения.
Т.е.
точное вхождение в URL: A и D - приоритет у A. очередность неважна
наибольшее вхождение в URL: A - приоритет у A. очередность неважна
наибольшее вхождение в URL: D - приоритет у D. очередность также не играет роли.
Где A - Allow; D - Disallow; URL - URL
I
Disallow: /index.php
Allow: /index.php?page
/index.php?page=23 - разрешен
/index.php - заблокирован
II
Allow: /
Disallow: /index.php
/index.php?page=23 - запрещен
/ - разрешен
Хотя лучше все директивы Allow писать вначале, во первых нет смысла что-то разрешать, потом это же запрещать, во вторых - это делает запреты совместимы с остальными ботами которые понимают аллоу (с яндексом по крайней мере).
Изменить href пункт меню "/главная_страница" на "/"
Наоборот надо
Allow: /$
Disallow: /