Все вопросы по robots.txt

Точно?

Инструкция: Disallow: / # блокирует доступ ко всему сайту.

А мне нужно только mail.DOMEN.ru

Новый вебмастер написал:

Файл robots.txt содержит ошибки. Это может привести к некорректному обходу и индексированию сайта

Вот он:

Спрашивал разработчиков CMS они не видят ошибок.

TheAsking, по синтаксису никаких ошибок нет. Он не уточнял какого рода ошибки?

Вот только это и написано. Есть предложение там еще проверить, но проверка тоже ничего не пишет же. Может просто сервис еще сырой и у него свои ошибки.

Директива Host применима только к боту яндекса, по стандарту такой директивы нет, поэтому проверяльщики будут указывать это как на ошибку.

Здравствуйте уважаемые! Данный вопрос уже весит года пол, никто не может дать ответа, у кого я только не спрашивал, все только размахивают руками.

Допустим Robots:

User-agent: *
Disallow: /subcategory/premium-vodka/
Disallow: /subcategory/govno-vodka/
Sitemap: http://site.ru/sitemap.xml
Host: http://site.ru/

В разделе "site.ru/subcategory/premium-vodka/" есть темы которые нужно закрыть.

Но как только мы перейдём с раздела "site.ru/subcategory/premium-vodka/" в любую тему, нас перекинет в такой раздел "site.ru/threads/kak-pravilno-pit-vodky.1437/"

Что мы видим, движок адресует темы с раздела "subcategory" в раздел "threads" и как тогда быть? У движка такая структура что темы в одном разделе, сами категории в другом. Получается если закрыть раздел, то мы закроем только раздел но не темы в котором они располагаются, как быть?

Конечно есть такая мысль, если закрыть раздел то логически он должен закрыть и темы в этом разделе, но вот темы та адресуются в другой раздел. Кто может помочь в этом нелёгком деле :)

Добавлю, есть плагины по сео для хенфоро, так они проставляют теги ноиндекс и нофолоу. На странице категорий и в самих темах добавляет:

<meta name="robots" content="noindex,nofollow">

Но страницы всё равно попадают в гугл поиск, это понятно, вот почему нужно закрыть именно в роботсе.

В результате сайт на 1000 позициях т.к. страниц с дерьмом мильоны которые гугл индексит.

Лучше /ru/forum/development/web там вопрос задать. Больше шансов, что ответят)

Да уже второй раз модератор тему адресует сюда, а здесь никто не отвечает, странные методы.

Пол года уже бьюсь, и хоть кто бы ответил.

Доброго времени суток!

Перечитал несколько статей. В основном все получилось блокировать.

Но webmaster все равно показывает дубли.

Например:

belyye-rozy.html?___from_store=ru&___store=ru&limit=30

belyye-rozy.html?___from_store=ru&___store=ru&limit=all&p=2

belyye-rozy.html?___from_store=ru&___store=ru&limit=all

belyye-rozy.html?___from_store=ru&___store=ua&dir=asc&limit=45&order=position

belyye-rozy.html?___from_store=ru&___store=ua&dir=asc&limit=all&order=color

belyye-rozy.html?___from_store=ru&___store=ua&dir=asc&limit=all&order=name

belyye-rozy.html?___from_store=ru&___store=ua&dir=asc&order=position

belyye-rozy.html?___from_store=ru&___store=ua&dir=desc&limit=all&order=price

belyye-rozy.html?___from_store=ru&___store=ua&dir=desc&order=name

belyye-rozy.html?___from_store=ru&___store=ua&limit=all

belyye-rozy.html?___from_store=ua&___store=ua&dir=desc&order=price

belyye-rozy.html?___store=ua&___from_store=ru&dir=desc&limit=45&order=price

belyye-rozy.html?___store=ua&p=2&___from_store=ru

belyye-rozy.html?p=2&___store=ru&___from_store=ru

Я пробовал, но не помогло

Disallow: /*?___from_store=ru

Disallow: /*?___from_store=ua

Подскажите в чем ошибка. Буду очень благодарен.

Спасибо заранее.

Друзья, доброго времени суток.

Подскажите пожалуйста, в интернет магазине, неохбодимо запретить к индексации сортировку и вывод кол-ва товаров на странице, пример урла:

- /catalog/moloko-toplennoe?&size=10 (вывод кол-ва товара на странице)

- /catalog/moloko-toplennoe?&sort=desc (сортировка по цене, убывание/возрастание)

Верное ли правило для запрета в robots.txt?

Disallow: /*sort=

Disallow: /*size=

Заранее спасибо.