Похоже, что правильно. Сайт-то большой? crawl-delay прописан? Может сервер загибается, когда Яндекс начинает выкачивать страницы?
Это - бан. Проверяется попыткой добавления в эддурилку.
Сразу бросилось в глаза, что нет переадресации страниц со слешем и без него. Возможно, как раз из-за этого.
Неожиданно интересный вопрос. Причем в Вашем примере, в выдаче КФ не подсвечивается ни у одного сайта.
С начала подумал, Яндекс считает запрос не информативным и вырезает (типа как предлоги, союзы, междометия и т.п.), но первая же проба не подтверждает догадки.
Потом, думал, Яндекс не подсвечивает КФ в словах песен, но это тоже неверно.
Вы с этими людьми плохо знакомы :)
Fruit добавил 28.09.2010 в 22:23
Рефераты - региональный запрос. По Питеру, кстати, конкуренция средненькая. Возможно, для Питера оставить текущий сайт, а для 4-х других сделать новый с регионом Россия?
Может. Очистите печеньки, отправьте запрос от Яндексовского User-Agent, посмотрите возвращаемый код.
Это не влияет на получение роботом страниц.
Любую cms, которую сможете нормально нормально настроить с точки зрения оптимизации.
Кстати, такой, на мой взгляд, является WordPress.
Для запроса релевантной страница какая определяется?
Киньте сайт в личку.
По-моему всегда была только одна - парсинг через веб-интерфейс 🙅
Это, кстати, не верная конструкция, она идентична следующей:
Allow: /catalog/tovar*
Disallow: /catalog/tovar?*
В robots перевод строки считается, как * по умолчанию. Т.е. в итоге ничего не будет запрещено. Правильно писать так:
Allow: /catalog/tovar$ # www.site.ru/catalog/tovar разрешаем, $ убирает *
Disallow: /catalog/tovar* # всё остальное, содержащее /catalog/tovar запрещаем
Fruit добавил 28.09.2010 в 11:51
Allow: /tovari/smd-svetodiodi.html?limit=25&start=*75$
Allow: /tovari/smd-svetodiodi.html?limit=25&start=*50$
Allow: /tovari/smd-svetodiodi.html?limit=25&start=*25$
Allow: /tovari/smd-svetodiodi.html?limit=25&start=*00$
Diallow: /tovari/smd-svetodiodi.html?limit=
