Помогите настроить robots.txt для Гугла

- куска как бе мало, светите уж всё;

- в панели вебмастера гугла есть анализ robots.txt и проверка на доступность страниц для индексирования. что пишет для этих страниц?

- в панели вебмастера гугла есть фича для ручного удаления страниц(ы) из индекса. можно удалять по маске;

Все правильно. Но это бывает только на значимых страницах, всякий хлам все выдаваться не будет.

Попробуйте добавить на этих страницах метатег robots= noindex

Давно в robots.txt их закрыл?

Если не ошибаюсь, он подобное только с новым аппом закроет в своей выдаче

User-agent: *

Allow: /wp-content/uploads/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /template.html

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /tag

Disallow: /archive

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Disallow: /?feed=

Disallow: /?s=

Disallow: /25

Disallow: /23

Disallow: /2008/06

Disallow: /2012/05

Disallow: */page/

Disallow: /page

Disallow: /author

Что страницы недоступны. Но они, тем не менее, есть. Просто без сниппета.

Да, но для этого необходимо либо удалить страницу физически (чтобы возвращало 404), либо поставить тэг noindex.

Как это сделать для страниц с урлом вида */page/* я не знаю

тут со слов обратите внимание смотрите - http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=93710 и общее http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=93708&topic=2370588&ctx=topic

мой роботс для wp

User-agent: Googlebot

Disallow: /xmlrpc.php

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: /*attachment

+ установлен плаг http://wordpress.org/extend/plugins/ultimate-noindex-nofollow-tool/

в рез - в индексе столько же стр сколько и в яндексе и только те стр которые нужны

sok3535, да, но у меня много страниц, которые ваш файл не затронет. Всякие там ****.ru/?cat=1

Дело, видимо, в том, что сайт очень старый (более 5 лет) и Вордпресс на него ставился чуть ли не самой первой версии. При обновлении все заглючило, было куча битых урлов и т.д. Все почистили, но в индексе Гугла осталось много мусора.

Огромное спасибо за подсказку с удалением страниц из индекса в панели WMT. Вроде как помогает - несколько страниц пропали.

и

плаг добавляет метатег на все нежелательные стр

sok3535, там нет урлов с trackback-ом. У меня их сейчас десятки. Гугл даже после запроса на удаление их не удаляет. Как быть?

Функцию трекбэков отключил, но страницы по прежнему доступны (301 редирект на статью)

Пример:

в индексе урл site.ru/postname/trackback/

его сниппет: Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...

при переходе нас редиректит на site.ru/postname/