BLIKSSS

Ты пример показываешь вообще от Wordpress.

Вот пример vBulletin

User-agent: Yandex

Crawl-delay: 3

Disallow: /forum2/

Disallow: /forum/blogs/

Disallow: /forum/blog.php

Disallow: /forum/clientscript/

Disallow: /forum/cpstyles/

Disallow: /forum/customavatars/

Disallow: /forum/customprofilepics/

Disallow: /forum/img/

Disallow: /forum/images/

Disallow: /forum/includes/

Disallow: /forum/ajax.php

Disallow: /forum/announcement.php

Disallow: /forum/infraction.php

Disallow: /forum/attachment.php

Disallow: /forum/calendar.php

Disallow: /forum/cron.php

Disallow: /forum/editpost.php

Disallow: /forum/global.php

Disallow: /forum/image.php

Disallow: /forum/inlinemod.php

Disallow: /forum/joinrequests.php

Disallow: /forum/login.php

Disallow: /forum/member.php

Disallow: /forum/memberlist.php

Disallow: /forum/misc.php

Disallow: /forum/moderator.php

Disallow: /forum/newattachment.php

Disallow: /forum/newreply.php

Disallow: /forum/newthread.php

Disallow: /forum/online.php

Disallow: /forum/poll.php

Disallow: /forum/postings.php

Disallow: /forum/printthread.php

Disallow: /forum/private.php

Disallow: /forum/profile.php

Disallow: /forum/register.php

Disallow: /forum/report.php

Disallow: /forum/reputation.php

Disallow: /forum/search.php

Disallow: /forum/sendmessage.php

Disallow: /forum/showgroups.php

Disallow: /forum/showpost.php

Disallow: /forum/subscription.php

Disallow: /forum/threadrate.php

Disallow: /forum/usercp.php

Disallow: /forum/usernote.php

Disallow: /forum/news

Disallow: /forum/redirect-to

Disallow: /forum/redirect/

Disallow: /forum/faq.php?s=

Disallow: /forum/external.php

Disallow: /forum/sitemap/

Disallow: /forum/itrader.php

Disallow: /*forum/banner.php

Disallow: /blogs/comments/

Disallow: */feed/

Disallow: /*?sort=

Disallow: /*utm_source=

Disallow: /*referrerid=

Disallow: /?site=colorzone

Disallow: /*faq.php?s=&do=search

Disallow: /tools/*showthread.php

Disallow: /*threadrss.php

Disallow: /*do=markread&readhash=

Disallow: /*do=markread&markreadhash=

Disallow: /test.html

Host: sait.ru



User-agent: Googlebot

Crawl-delay: 3

Disallow: /forum2/

Disallow: /forum/blogs/

Disallow: /forum/blog.php

Disallow: /forum/clientscript/

Disallow: /forum/cpstyles/

Disallow: /forum/customavatars/

Disallow: /forum/customprofilepics/

Disallow: /forum/img/

Disallow: /forum/images/

Disallow: /forum/includes/

Disallow: /forum/ajax.php

Disallow: /forum/announcement.php

Disallow: /forum/infraction.php

Disallow: /forum/attachment.php

Disallow: /forum/calendar.php

Disallow: /forum/cron.php

Disallow: /forum/editpost.php

Disallow: /forum/global.php

Disallow: /forum/image.php

Disallow: /forum/inlinemod.php

Disallow: /forum/joinrequests.php

Disallow: /forum/login.php

Disallow: /forum/member.php

Disallow: /forum/memberlist.php

Disallow: /forum/misc.php

Disallow: /forum/moderator.php

Disallow: /forum/newattachment.php

Disallow: /forum/newreply.php

Disallow: /forum/newthread.php

Disallow: /forum/online.php

Disallow: /forum/poll.php

Disallow: /forum/postings.php

Disallow: /forum/printthread.php

Disallow: /forum/private.php

Disallow: /forum/profile.php

Disallow: /forum/register.php

Disallow: /forum/report.php

Disallow: /forum/reputation.php

Disallow: /forum/search.php

Disallow: /forum/sendmessage.php

Disallow: /forum/showgroups.php

Disallow: /forum/showpost.php

Disallow: /forum/subscription.php

Disallow: /forum/threadrate.php

Disallow: /forum/usercp.php

Disallow: /forum/usernote.php

Disallow: /forum/news

Disallow: /forum/redirect-to

Disallow: /forum/redirect/

Disallow: /forum/faq.php?s=

Disallow: /forum/external.php

Disallow: /forum/sitemap/

Disallow: /forum/itrader.php

Disallow: /*forum/banner.php

Disallow: /blogs/comments/

Disallow: */feed/

Disallow: /*?sort=

Disallow: /*utm_source=

Disallow: /*referrerid=

Disallow: /?site=colorzone

Disallow: /*faq.php?s=&do=search

Disallow: /tools/*showthread.php

Disallow: /*threadrss.php

Disallow: /*do=markread&readhash=

Disallow: /*do=markread&markreadhash=

Disallow: /test.html

Это пример с одного популярного форума. Опять же его дорабатывали под свои нужды и тебе придется лишнее выкинуть, а свое добавить при необходимости.(в дерективе host укажи свой сайт)

В основном каждый под себя делает robots. А посмотреть базу robots можно открыв популярные форумы на этом движке. Взять у них основу, а потом уже по мере необходимости добавлять свое.

Я уже где то писал в другой теме.

Я делаю так.

Захожу в вебмастер в раздел проверить url и кидаю туда ссылки.

Кидаю в течении дня, двух, то есть периодически, пока не будет ответа

После этого 1-2 ап страницы попадают в выдачу(если ап за те числа когда робот обходил)

P.s Кидаю проверить url и в старом и в новом вебмастере(если сайт не ГС, то мне помогает в 90%)

Бета толком не работает еще, смотреть в старом в данный момент более актуально. А вообще вчера у многих в бете пропали ссылки.

P.s Глюк как обычно.

Попробуй f5 нажать и попробуй отключить адблок на странице метрики(возможно он режет)

P.s Но больше похоже на проблемы с интернетом, страница не прогрузилась.

Я же написал кидать туда надо не один раз,периодически кидай и будет ответ.

После первого раза он пишет данные какие видит. А тебе надо получить ответ который я приводил в пример в сообщениях выше.

Он у всех есть зайди в вебмастер нажми на сайт с лева будут вкладки.

У новых сайтов которые не проиндексированы нельзя только подключить оригинальные тексты, все остальное есть.

Вкладка так и называется проверь URL (старый вебмастер, да и в новом есть такая вкладка, кидай и там и там)

Зайди в вебмастер, там есть графа проверить url, так вот, заходи каждый час и кидай его туда, до тех пор пока не получишь ответ

После такого ответа, страницы входят с 1-2 апами.(проверено на себе, опять же если сайт не копипаст и не ГС)

Попробуй.

Вебмани отвечает не намного быстрее. Хотя как и везде, раз на раз не приходится. (иногда быстро, иногда "вечность".)

По тел операторы там тоже как и везде, тапки не мои передаю вопрос в техническую службу или проблему знаем, техническая служба ей занимается.:)

Сначала в вебмастере проверить ответ от сервера.

Потом прогнать url страниц в разделе проверить url и посмотреть какой ответ будет.

И ждать обновления кабинета.(если ошибок нет, то надпись пропадает)