1. указывайте правильный путь, включая слэш
Disallow: /nobe.html?sort=products_sort_order&filter_id=
- спецсимвол * учитывает Яндекс и его использование имеет смысл, если после звездочки что-то нужно ставить (По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*'):
При указании путей директив Allow-Disallow можно использовать спецсимволы '*' и '$', задавая, таким образом, определенные регулярные выражения. Спецсимвол '*' означает любую (в том числе пустую) последовательность символов. Примеры:
User-agent: Yandex
Disallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx' и '/cgi-bin/private/test.aspx'
Disallow: /*private # запрещает не только '/private', но и '/cgi-bin/private'
По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*', например:
Disallow: /cgi-bin* # блокирует доступ к страницам начинающимся с '/cgi-bin'
Disallow: /cgi-bin # то же самое
2. отдельно User-agent: имя_робота - не надо, если нет особых пожеланий к конкретному роботу.
Яндекс использует расширенный стандарт robots.txt и если вы используете эти расширения, то иногда лучше сделать отдельный блок User-agent. В общем случае эти расширения игнорируются остальными роботами.
у меня сейчас с первого раза (прошел по ссылке вверху этого сообщения http://www.yandex.ru/yandsearch?text=знакомства ) при настройке 10 результатов на страницу показали только 10 результатов из блогов. Если там нажать на поиск - появляются обычные результаты (по этому запросу, кстати, результаты "стоящие").
Возможно ночью иногда отключают понимание поисковой машиной кириллицы в адресе, а
такие запросы поиск понимает.
Было уже такое.
Директ на странице и поиск по блогам такие адреса понимают по-прежнему и выдают релевантные результаты.
Казалось бы, при чем здесь ......?
посмотрите как выглядит ссылка после перехода из поиска новых сообщений.
Если пользователь попал на такую страницу и загрузил на ней счетчик Рамблера (возможный вариант - зашел с баром Яндекса), то поисковик узнает об этой странице и пришлет робота для индексации.
По хорошему лучше закрыть все ссылки на сообщения
Disallow: /viewtopic.php?p=
они просто дблируют ссылки на темы
/viewtopic.php?t=
пример
robots.txt на http://www.ebanners.ru/
вот, что получилось - проиндексировано на www.ebanners.ru
цена размещения акций google в августе 2004 года была 85 долларов США
автору
поменяйте
yandex_site_charset = 'koi8-r';
на
yandex_site_charset = 'utf-8';
и ваше благосостояние улучшится
В неткате есть шаблон и есть макет дизайна. Это разные понятия. И тот и другой хранятся в базе. Создание подробно описано в инструкции. Вы её читали?
Робот поисковика не должен видеть разные адреса страниц. Иначе он получит сначала адреса с одной сессией, при втором заходе с другой и т.п.
Кто такой ББ?
нет, автору темы
