Вопрос по robots.txt

User-agent: Yandex

Disallow: /2010/07/05/

Disallow: /2010/07/24/

Если бы всё было так просто :(

таких страниц много вылезло (в сегодняшний ап) боюсь что за дубли выбросит нормальные страницы.

Поэтому вопрос немного другой, как закрыть страницы что начинаются с /2010, если так и прописать Disallow: /2010 то вроде не

сайт что выше не мой 🍾

Чем не устраивает-то?

http://help.yandex.ru/webmaster/?id=996567#996571

Подскажите, это нормальный robot.txt для всех поисковиков?!

User-agent: *
Sitemap: http://link_my_website=xml
Disallow: /my_folder1/
Disallow: /my_folder2/
Disallow: /my_folder3/
Disallow: /my_folder4/
Disallow: /my_folder5/
Disallow: /my_folder6/

Может я что-то упустил? Где-то читал, что для бота Yandex необходимо дописывать Host: http://link_my_website/

И тогда robot.txt примет такой вид:

User-agent: Yandex
Sitemap: http://link_my_website=xml
Disallow: /my_folder1/
Disallow: /my_folder2/
Disallow: /my_folder3/
Disallow: /my_folder4/
Disallow: /my_folder5/
Disallow: /my_folder6/
Host: http://link_my_website/

User-agent: *
Sitemap: http://link_my_website=xml
Disallow: /my_folder1/
Disallow: /my_folder2/
Disallow: /my_folder3/
Disallow: /my_folder4/
Disallow: /my_folder5/
Disallow: /my_folder6/

Спасибо!

100500 раз уже это обсуждалось.

http://help.yandex.ru/webmaster/?id=996567#996574

http://robotstxt.org.ru/

http://www.google.ru/search?hl=ru&newwindow=1&client=opera&rls=ru&q=site%3Aforum.searchengines.ru+%D0%B2%D0%BE%D0%BF%D1%80%D0%BE%D1%81+%D0%BF%D0%BE+robots.txt&btnG=%D0%9F%D0%BE%D0%B8%D1%81%D0%BA&aq=f&aqi=&aql=&oq=&gs_rfai=

Читайте все на Яндексе.

а что для cms dle стандартного роботса нет, где все дубли закрыты? у вордпресса например есть, также там есть плагины которые закрывают архивы и прочее :)