Форум Практика оптимизации Любые вопросы от новичков по оптимизации

проблемы с robots.txt

Roousk
На сайте с 07.10.2012
Offline
58
Roousk
257

добрый день, необходима помощь с файлом robots.txt. на сайте имеются пока 24 страницы:21 статья+3 страницы(контакты, о сайте и главная) Яндекс нормально проиндексировал все 24 страницы, в гугле почему то отображается 113 проиндексированных страниц. Помогите закрыть ненужное для гугла. Вот текст файла:

User-agent: *

Disallow: /cgi-bin/

Disallow: /wp-

Disallow: */trackback

Disallow: */comment-

Disallow: *?replytocom=

Disallow: */feed

Disallow: /?s=

Disallow: /xmlrpc.php

Disallow: /archives/date/

Disallow: /archives/tag/

Disallow: /archives/author/

Disallow: /page/

Allow: /wp-content/uploads/

Host: bezmobil.ru

Sitemap: http://bezmobil.ru/sitemap.xml

User-agent: Googlebot-Image

Allow: /wp-content/uploads/

User-agent: YandexImages

Allow: /wp-content/uploads/

User-agent: ia_archiver

Disallow: /

Sitemap: http://bezmobil.ru/sitemap.xml

что в нем не так?

Flint Eastwood
На сайте с 22.10.2012
Offline
5
Flint Eastwood
#1

Для гугла уже все закрыто в принципе в robots.txt, только закрыли служебные страницы Вы, видимо, уже после того, как гугл их проиндексировал - из за этого они в так называемых "опущенных результатах" выдачи с пометкой "Описание веб-страницы недоступно из-за ограничений в файле robots.txt".

Как от них избавиться? Добавьте сайт в Google.Webmaster, и с помощью соответствующего инструмента удалите из выдачи страницы вида *?replytocom=* и */feed*.

Закрытый от индексации Google Google разослал предупреждения о Google Merchant Center расширил
Roousk
На сайте с 07.10.2012
Offline
58
Roousk
#2
Flint Eastwood:
Для гугла уже все закрыто в принципе в robots.txt, только закрыли служебные страницы Вы, видимо, уже после того, как гугл их проиндексировал - из за этого они в так называемых "опущенных результатах" выдачи с пометкой "Описание веб-страницы недоступно из-за ограничений в файле robots.txt".

Как от них избавиться? Добавьте сайт в Google.Webmaster, и с помощью соответствующего инструмента удалите из выдачи страницы вида *?replytocom=* и */feed*.

Спасибо, за дельный совет.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий