Все вопросы по robots.txt

не понял сути

Удалите сначала 5 страниц из за этого уйдет автоматом 1 страница из раздела категорий.

То есть из индекса вылетит 6 страниц.

Какое может быть решение?

Удалить не 5, а 4 страницы, или добавить 1 статью а потом удалить ненужных 5 если так важна эта page/30/

Нужно разрешить к индексации только посты на сайте, ссылки имеют вид

http://www.site.org/1143241667-post1.html

http://www.site.org/1145645689-post2.html

http://www.site.org/1147756753-post3.html

то есть одинаковое во всех постах только

http://www.site.org/114

что следует прописать в robots ?

User-agent: *

Disallow: /

Allow: /114

Вопрос по файлу robots.txt для wordpress:

В большинстве так называемых "оптимальных" файлов, присутствуют такие строчки:

Disallow: /wp-content/themes
Disallow: /wp-content/plugins

Но вот в вебмастере гугла в разделе "Заблокированные ресурсы", обнаружил что у меня много ошибок, из за этих 2ух строчек.

Так, при просмотре с помощью гуглбот, пишет, - "Роботу не удалось получить следующие ресурсы веб-страницы"

И далее, в строчку перечисляет что из-за Disallow: /wp-content/themes заблокирована таблица стилей, а из-за Disallow: /wp-content/plugins тоже, что-то там не видит..

Подскажите пожалуйста, насколько это критично?

Я открываю файлы(css, изображения), которые просит google.

А чуть конкретнее можно?

То есть, какие могут быть реальные минусы, (кроме сообщения об ошибках) если доступ к css не открывать для пс?

Ведь по какой-то причине, многие закрывают эту папку "themes"..😕

Мне важно, чтобы эта страница не была с ошибкой 404, пока она не заполниться.

Так как насколько я знаю, это вредно для seo.

Подскажи, пожалуйста!

У нас файл роботс находится не в текстовом файле, а на отдельный страничке, т.к. у нас нет ftp. Как к этому отнесутся поисковые роботы?

Гугл говорит это — клоакинг.

---------- Добавлено 01.04.2015 в 16:36 ----------

Добавьте сайт в вебмастер и посмотрите через вкладку проверки файла robots.txt, в старттопике указал ссылки.