Google индексирует папку несмотря на robots.txt

Зарегистрируйтесь в панели вебмастера гугл, там можно и проверить ссылки по роботс тхт и удалить ненужные из кэша. Удаляются за 2-3 дня при условии, что они правильно в роботс тхт прописаны. Там прямо в панели есть "конструктор" файлика робтс тхт для гугла.

Да был я там, только что, но как не испортить файл для Яндекса?

Для яндекса создать отдельные записи. Вот мой пример файла на блоге вордпресс:

User-agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */wp-login.php

Disallow: */wp-register.php

Disallow: */xmlrpc.php

Disallow: */feed

Disallow: */comment-page-1

Disallow: /comments

Disallow: */comments

Disallow: /index.php?s=

Disallow: /category/*

Disallow: */category/*

Disallow: */trackback

Disallow: /tag/

Disallow: */tag/

Disallow: /*?*

Disallow: /*?

Disallow: /2009/*

Disallow: */2009/*

Disallow: /author

Disallow: */author

Disallow: /page/

User-agent: Googlebot-Image

Disallow:

Allow: /*

User-agent: Mediapartners-Google

Disallow:

Allow: /*

User-agent: Yandex

Crawl-delay: 5

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */feed

Disallow: */comment-page-1

Disallow: /comments

Disallow: */comments

Disallow: /index.php?s=

Disallow: /category/*

Disallow: */trackback

Disallow: /tag/

Disallow: */tag/

Disallow: /*?*

Disallow: /*?

Disallow: /2009/*

Disallow: /author

Disallow: /page/

Disallow: /it/

Disallow: /ko/

Disallow: /zh-CN/

Disallow: /zh-TW/

Disallow: /pt/

Disallow: /en/

Disallow: /de/

Disallow: /fr/

Disallow: /es/

Disallow: /ja/

Disallow: /ar/

Disallow: /el/

Disallow: /nl/

Disallow: /bg/

Disallow: /cs/

Disallow: /hr

Disallow: /da/

Disallow: /fi/

Disallow: /hi/

Disallow: /pl/

Disallow: /ro/

Disallow: /sv/

Disallow: /no/

Disallow: /ca/

Disallow: /tl/

Disallow: /iw/

Disallow: /id/

Disallow: /lv/

Disallow: /lt/

Disallow: /sr/

Disallow: /sk/

Disallow: /sl/

Disallow: /uk/

Disallow: /vi/

Disallow: /sq/

Disallow: /et/

Disallow: /gl/

Disallow: /mt/

Disallow: /th/

Disallow: /tr/

Disallow: /hu/

Host: имя домена.ru

User-agent: YandexBlog

Disallow:

Sitemap: http://имя домена/sitemap.xml

Sitemap: http://имя домена/sitemap.xml.gz

для Яндекса можно отдельно в файле robots.txt сделать User-agent блок:

User-agent: Googlebot

Disallow: /dir/

User-agent: Yandex

Disallow: /dir/

Так тогда и для других поисковиков придется?

строка

User-agent: *

обозначает всё! поисковики кроме тех, для которых есть отдельные правила

Для яндекса делаете дополнительно, вот и всё, хотя, вы можете свой файл и в яндексе проверить и, может, отдельный и делать не придётся.

http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml

Сейчас воспользовался их сервисом. И стоит, как у меня, единственно, что еще

Allow: /

А зачем, проверять? Он у менять проверен