Все вопросы по robots.txt

Хочу закрыть страницы пагинации в robots.txt,

УРЛ этих страниц имеет такой вид www.site.ru/rubrika.html?page=2

Правильной будет запись в robots.txt

Disallow: *page

или

Disallow: /*page

Спасибо.

И тот и тот вариант подойдет, но лучше второй

variants, можно еще запретить индексацию страниц пагинации в All in One SEO Pack, если у вас WordPress.

Добрый

один модуль генерирует страницы, но он мне нужен!

страницы типа

/inc_s0.php

/inc_s1.php

/inc_s2.php

ит.д.

как прописать правило что бы все страницы с /inc_s были запрещены

Disallow: /*inc_s или Disallow: /inc_s*

вот инструкция

Насколько я понял, вот так

Disallow: /*inc_s*$

На счет пагинации, то нужно закрывать все страницы с ?page. Но я бы вообще порекомендовал настроить правильную пагинацию через prev, next по правилам. В справке Google есть такое, и поставить rel canonical на соответствующую категорию. В вашем случае, страницы пагинации - это страницы с динамическими параметрами, что плохо для индексации. Не забудьте также про корректность создания sitemap. Там не должно быть страниц закрытых в роботсе, а также страниц с редиректом.

Прочитал по ссылке, что не правильно в роботе писать:

Url в директиве Host

Следует писать без аббревиатуры протокола передачи гипертекста, то есть без http://

А в моем роботе стоит http:// в последней строчке при адресе Sitemap: http://sookhov.ru/?p=7805

Это совсем разные записи, или они имеют друг к другу отношение?

Мой сайт про рубашки

Здравствуйте! Подскажите такому "тупику", как я:

Если я закрою:

User-agent: *

Disallow: /stroitelstvo

значит ли это, что url /stroitelsto-domov/ и /stroitelsto-saun/ и т.п. будет тоже закрыто от индексации?

Сайту 1,5 месяцев и три недели подряд в индексе гугла и яндекс только главная страница.

Главная страница в выдаче с таким текстом: "Описание веб-страницы недоступно из-за ограничений в файле robots.txt."

движок Opencart.

Помогите в чем проблема?

robots.txt:

User-agent: *

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin/

Disallow: /download/

Disallow: /system/

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

Disallow: /*#category_id=

Disallow: /index.php?route=product/search

Disallow: /search/

Disallow: /login/

Disallow: /posttovk/

Host: yapodarok.net

Sitemap: http://yapodarok.net/sitemap

Доброго времени суток.

Подскажите правильно ли я сделал что в роботе закрыл левые ссылки.

Поясню: сайт библиотека sanctuarium.info

Файл robots:

User-agent: *

Disallow: */cache*

Disallow: */compare*

Disallow: *?sort*

я запретил следующие ссылки:

http://sanctuarium.info/10-knig-o-samomotivacii?sort=p.jan&order=ASC/ - ссылка с сортировкой

http://sanctuarium.info/product/compare&book=20828/ - на сайте есть читалка, работает на java script по ссылке открывается не корректно

cache - это закешанные картинки (обложки книг) они переодически удаляются.

Вопрос, может не стоит все запрещать, после создания робота у меня из поиска выпало 3000 страниц было 7000 стало 4000, важно ли для ранжирования количество страниц на сайте, пусть даже не имеющих ценности для пользователя.

P.S. гуру роботописания, может что то нужно добавить в файл?