Все вопросы по robots.txt

все верно, звездочку после mr можно не ставить. Выше постом объяснял почему.

У меня на сайте есть сортировка. Когда выставляю ее, то появляются след. ссылки:

collection/beg?order=&characteristics%5B%5D=9872428&characteristics%5B%5D

которые потому успешно индексируются и появляются дубли, как мне закрыть подобную страницы (то есть закрыть страницы в ссылках которых присуствует слово haracteristics) в роботс, и не будет ли это негативно сказываться? И вобще стоит это делать?

Давно не занимался роботсом, а сейчас на сайте, доставшемуся по наследству, столкнулся с непоняткой. Есть раздел site.ru/news/, в роботс.тхт для всех User-agent: * прописано Disallow: /news.php. Насколько понимаю, все новости закрыты от индексации.

В тоже время вижу в индексе Яндекса новости с адресами типа site.ru/news/s-neba-zvezdochka-upala-12345. Не могу понять, то ли Disallow: /news.php не запрещает новостной раздел, то ли еще что-то. Подскажите, плиз.

Суть проблемы: Яндекс проиндексировал 5000 стр, а Гул увидел 75000 стр.

вероятно эти 70 000 стр "пустые" и надо закрывать их от индексации.

1- есть "печатные" копии страниц. Понятно, что их надо закрыть.

Подскажите , как правильно прописать строку в файле роботс для закрытия печатных страниц

типа domen.ru/print-property.php?pId=1107

2- для каждого объекта недвижимости есть примерно 10 фото.

Подскажите - достаточно ли будет прописать в роботсе

Disallow: /images/

чтобы закрылись от индексации все фото ( без текста )

закрыто /news.php а не папка /news/ так что все по идее нормально )

чтобы не было таких вот - site.ru/news/s-neba-zvezdochka-upala-12345 надо в роботсе прописать так вот - Disallow: /news/

наверное ) я не особо спец, я по логике так думаю

---------- Добавлено 06.06.2015 в 09:25 ----------

1. если все они идут после domen.ru/print-property.php то так -

Disallow: /print-property.php

или

Disallow: /print

тут все по логике - какую букву закрываете значит все что после нее будет накручиваться скриптами тоже не будет индексироваться вместе с этой буквой

2. смотря в какой папке у вас все эти картинки, если они в /images/ то все верно, картинки в индекс не попадут и именно без текста, там же только файлы картинок )

Я уже понял, что закрыта конкретная страница. Но все равно спасибо.

Доброе время суток, подскажите знающие люди как решить мою проблему.

Есть каталог с подкатегориями который нужно скрыть от индексации в роботсе.

сайт.ком/tkani

Но на сайте реализованы короткие урлы и подкатегории и "подкатегории подкатегорий" имеют такие адреса

сайт.ком/kozh-zam

сайт.ком/tkani-orbita

сайт.ком/1-ya-kat

Вопрос: Достаточно будет прописать в дисалоу адрес главного каталога "Disallow: /tkani/" ? Или же изза коротких URL-ов нужно прописывать все категории и подкатегории?

Заранее благодарен за помощь

Disallow: /*characteristics

запретит все url cо словом characteristics. Дубли убрать стоит, но тут на ваш выбор как это сделать. Для яндекса можете использовать Clean-param. Для google и яндекс - canonical

---------- Добавлено 24.06.2015 в 11:11 ----------

"Disallow: /tkani/" это /tkani/*

- запретит раздел /tkani/ и /tkani/любой_урл

будут разрешены:

сайт.ком/kozh-zam

сайт.ком/tkani-orbita

сайт.ком/1-ya-kat

Добрый день, уважаемые форумчане!

На сайте с динамически формируемыми страницами хочется закрыть для поисковиков страницы, которые формируются путем добавления в названия "простых" страниц дополнительного содержимого через тире.

К примеру, имясайта.ру/матрешка нужно индексировать, а имясайта.ру/матрешка-сапожок или имясайта.ру/матрешка-сапожок-компот индексировать и обходить не нужно. На текущий момент все "сложные" страницы имеют мета-теги noindex и теги noindex на ссылках, которые ведут к сложным страницам.

Можно ли (и как) задать правило на запрет обхода и индексирования "сложных" страниц (с тире) в robots?

Что эффективнее: использование noindex и nofollow или запрет в robots?

Возникнет ли конфликт, если "сложные" страницы будут закрыты noindex и nofollow и дополнительно для них будет задан запрет в robots?

Сидел мудрил, получил такой вот robots.txt для wordpress, может, что лишнее?

User-agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /category/*/*

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

Disallow: /to/

Disallow: /&*

Disallow: />*

Disallow: /page/