Вопросы robots.txt и индексацию сайта

P7
На сайте с 11.06.2012
Offline
2
383

Здравствуйте.

Составил robots.txt для своего форума на phpbb3.

Прошу посмотреть, правильно ли все в нем:

User-agent: *

Disallow: /faq.php
Disallow: /mcp.php
Disallow: /acp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?f=31&t=*
Disallow: /viewtopic.php?f=32&t=*
Disallow: /viewtopic.php?f=33&t=*
Disallow: /viewforum.php?f=31
Disallow: /viewforum.php?f=32
Disallow: /viewforum.php?f=33
Sitemap: http://btgsworld.ts6.ru/sitemap.xml

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /acp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?f=31&t=*
Disallow: /viewtopic.php?f=32&t=*
Disallow: /viewtopic.php?f=33&t=*
Disallow: /viewforum.php?f=31
Disallow: /viewforum.php?f=32
Disallow: /viewforum.php?f=33
Host: btgsworld.ts6.ru
Sitemap: http://btgsworld.ts6.ru/sitemap.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Еще такой вопрос: важно ли прописывать в robots такие строки:

Disallow: /viewtopic.php?p=*

Disallow: /viewtopic.php?f=*&t=*&start=0$
могут ли они как-либо негативно влиять на индексацию форума?

И нормально ли, когда в Яндекс.Вебмастер показано такое:

А то яндекс пишет, что наш сайт не проиндексирован.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий