Правило Disallow: /blog вам не подходит, поскольку между my-site.ru и blog присутствует название категории.
При таком строении линка, как вы указали, т.е my-site.ru/название категории/blog, вам можно смело писать следующее правило:
Disallow: */blog
Данное правило исключит из индексации любые страницы, которые имеют следующий адрес:
my-site.ru/*/blog
Звёздочка перед слешем - любые буквы, цифры и т.д.
Нужно отметить - если мы после слова blog не ставим слеш (Это зависит от ваших настроек ЧПУ), то данное правило исключит из индекса и такие адреса как: my-site.ru/*/blog-o-nas Т.е. будут ислючены новости, которые начинаются со слова блог.
Вообще, для проверки настройки файла robots.txt есть вот такой чудесный сервис от Яндекса - http://webmaster.yandex.ru/robots.xml У гугли, тоже есть в панели вебмастера сервис для проверки настройки индексации.
Вот в этом комментарии я подробно изложил, как пользоваться данным сервисом и закрыть от индексации ненужную страницу - /ru/forum/comment/9725069
В вашем случае всё по аналогии с приведённым примером.
Будут ещё какие-то вопросы - обращайтесь, буду рад помочь.
Если у вас структура ссылок имеет обычную форму, т.е. my-site.ru/razdel/material.html
То вам помогут следующие правила в robots.txt
Allow: /razdel/*.html
Disallow: /razdel
Первое правило разрешает индексировать страницы с новостями, а второе правило запрещает индексировать страницы рубрик на которых у вас и содержится вступительный текст, т.е. какая-то часть новостей.
Правила необходимо ставить именно в таком порядке!
Поставив правила в обратном порядке, вы запретите индексацию всех материалов раздела вместе с самим разделом.
И ещё:
Чтобы закрыть xmlrpc.php от индексации в первую очередь нужно желание!
Разжёвываю и кладу в рот.
Первый сайт, который мне попался в поиске - api.drupal.ru, с ним и будем работать.
Картина не изменилась, ответ тот же:
http://api.drupal.ru/api/file/xmlrpc.php разрешен (К индексации)
Результат проверки:
http://api.drupal.ru/api/file/xmlrpc.php запрещен правилом */xmlrpc.php
Можно ещё поэкспериментировать с другими страницами, которые вам нужно закрыть или открыть.
Самое главное - Добавляем в robots.txt на хостинге все изменения, которые нам необходимы.
На странице http://webmaster.yandex.ru/robots.xml вы не изменяете свой файл robots.txt, вы лишь проверяете как сработают те или иные правила в нём.
Итого - Мы закрыли от индексации страницу xmlrpc.php
Аминь :)
P.S. Процесс выпадания из индекса может растянуться на некоторое время, а можно и попробовать удалить в админке вебмастера, яндекс должен среагировать на запрет к индексации и в ближайшее время удалить страницу из индекса.
P.P.S. Как удалить страницу в панели вебмастера, разжёвывать не буду, читайте вот здесь - http://help.yandex.ru/webmaster/?id=995318
Пожалуйста :) Рад, если помог.
Все эксперименты с robots.txt можно проверять по ссылке, что я дал. В гугл-вебмастер тоже есть функция проверки правил индексации.
Всё сказанное касается ТС, а не Filan. Его проблему я даже не рассматривал.
Спорить не собираюсь, я просто привёл пример того, что показывает сам яндекс.
Частично с вами согласен, так как для закрытия сайта от индексации достаточно прописать правило
Disallow: /
С одной стороны это закрывает сайт от индексации, с другой стороны - главная находится поисковиками.
Но и мой предыдущий пост не лишён логики. Правила индексации можно проверить не только в яндекс вебмастере, но и в гугле. К общему удивлению, результат будет тот же...
У человека изначально неправильно построена структура линков.
При нормальном построении можно было бы прописать
Disallow: /rabota/*.html
Такое правило точно указывало бы на то, что не следует индексировать страницы глубже каталога /rabota/ с расширением .html (или что-то другое)
Используйте инструменты, которые предлагают сами поисковики.
Зачем изобретать велосипед?
Allow: можно вообще не использовать.
Поскольку роботы и без указаний всё индексируют, им нужно указывать, что НЕ нужно индексировать.
В вашем случае достаточно прописать
Disallow: /rabota/
Это правило запретит индексацию всех страниц, которые содержат http://vuzi64.ru/rabota/
Ваша целевая страница http://vuzi64.ru/rabota Без слеша вконце, поэтому правило
её не затронет, и она будет индексироваться.
Проверить мои слова можно здесь - http://webmaster.yandex.ru/robots.xml
Ваши слова, да богу в уши.
Один сайт попал под АГС, ссылками не барыжу, дублей нет. Для меня это самая неприятная новость за последнее время 😡
У вас может не хватать закрывающего слеша.
HTML - <img src="URL" alt="альтернативный текст" title="Форсаж 5>
XHTML - <img src="URL" alt="альтернативный текст" title="Форсаж 5 />
подробности - http://htmlbook.ru/html/img
Потыкался, помыкался с попытками вернуть уровень кликов - результат 0 (Ноль)
Всё, как и писал в предыдущем посте.
Обратился в саппорт с вопросом вывода жалких остатков средств - вывели без лишних вопросов.
Итого: работал до их перестройки в качестве рекламодателя, был доволен, обратился в саппорт - реакция мгновенная.
Возобновят деятельность на прежнем уровне, обязательно вернусь к ним. Просто Видать у ребят после их реорганизации что-то не так пошло...
С кликами сейчас и в самом деле беда :(
С 18 числа не более 4 кликов за день, до изменений в системе данный тизер зарекомендовал себя хорошо. Изменение цены, т.е. её повышение не меняют картины.
Судя по всему, было изменение кода тизеров и вебмастера просто не обновили его.
Не могут же быть у всех некликабельные тизера.
