Закрыть от индексации (robots.txt)

Наверное, твоя религия против того, чтобы ты вводил в поисковую строку Яндекса эти секретные слова: "robots.txt яндекс"?

Спасибо. Религия и интеллект запрещает Яндексом пользоваться. Вы правы.

artool, Хорошо, спасибо большое за информацию.

Пожалуйста :) Рад, если помог.

Все эксперименты с robots.txt можно проверять по ссылке, что я дал. В гугл-вебмастер тоже есть функция проверки правил индексации.

Возможна ли закрывать одиночные страницы по другому, а не например Disallow: /xmlrpc.php Почему то они не исчезают из выдачи.

Загрузил, только не понятно что оно должно было выдать после проверки. Ошибок не выдало.

запрещен правилом ********

или

разрешен

выдает вот такое:

1-14

User-agent: Yandex

Disallow: /cgi-bin

...

Host: www.мойсайт. ru

47-47

Sitemap: http://мойсайт. ru/sitemap.xml

вот и все.

Чтобы закрыть xmlrpc.php от индексации в первую очередь нужно желание!

Разжёвываю и кладу в рот.

Первый сайт, который мне попался в поиске - api.drupal.ru, с ним и будем работать.

Идём по ссылке - http://webmaster.yandex.ru/robots.xml

• В поле имя хоста пишем api.drupal.ru (Ваш сайт), нажимаем "Загрузить robots.txt с сайта"

• Список URL - нажимаем "Добавить", в открывшемся окне вставляем линки, на которые хотим изменить правила индексации. В нашем случае это - http://api.drupal.ru/api/file/xmlrpc.php (У Вас линк будет другим)

• Нажимаем "Проверить", в самом низу будет строка "Результаты проверки URL" в которой мы видим:
• http://api.drupal.ru/api/file/xmlrpc.php разрешен (К индексации)

• Вносим изменения в robots.txt (Прям тут, в окне "Robots.txt", на сайт топать не обязательно)
• Добавляем правило Disallow: /xmlrpc.php и снова жмём "Проверить"

Картина не изменилась, ответ тот же:

http://api.drupal.ru/api/file/xmlrpc.php разрешен (К индексации)

• Вносим изменения в robots.txt
• Изменяем правило Disallow: /xmlrpc.php на Disallow: */xmlrpc.php и снова жмём "Проверить"

Результат проверки:

http://api.drupal.ru/api/file/xmlrpc.php запрещен правилом */xmlrpc.php

Можно ещё поэкспериментировать с другими страницами, которые вам нужно закрыть или открыть.

Самое главное - Добавляем в robots.txt на хостинге все изменения, которые нам необходимы.

На странице http://webmaster.yandex.ru/robots.xml вы не изменяете свой файл robots.txt, вы лишь проверяете как сработают те или иные правила в нём.

Итого - Мы закрыли от индексации страницу xmlrpc.php

Аминь :)

P.S. Процесс выпадания из индекса может растянуться на некоторое время, а можно и попробовать удалить в админке вебмастера, яндекс должен среагировать на запрет к индексации и в ближайшее время удалить страницу из индекса.

P.P.S. Как удалить страницу в панели вебмастера, разжёвывать не буду, читайте вот здесь - http://help.yandex.ru/webmaster/?id=995318

artool, спасибо, помогло.🙄