Ты пример показываешь вообще от Wordpress.
Вот пример vBulletin
User-agent: Yandex Crawl-delay: 3 Disallow: /forum2/ Disallow: /forum/blogs/ Disallow: /forum/blog.php Disallow: /forum/clientscript/ Disallow: /forum/cpstyles/ Disallow: /forum/customavatars/ Disallow: /forum/customprofilepics/ Disallow: /forum/img/ Disallow: /forum/images/ Disallow: /forum/includes/ Disallow: /forum/ajax.php Disallow: /forum/announcement.php Disallow: /forum/infraction.php Disallow: /forum/attachment.php Disallow: /forum/calendar.php Disallow: /forum/cron.php Disallow: /forum/editpost.php Disallow: /forum/global.php Disallow: /forum/image.php Disallow: /forum/inlinemod.php Disallow: /forum/joinrequests.php Disallow: /forum/login.php Disallow: /forum/member.php Disallow: /forum/memberlist.php Disallow: /forum/misc.php Disallow: /forum/moderator.php Disallow: /forum/newattachment.php Disallow: /forum/newreply.php Disallow: /forum/newthread.php Disallow: /forum/online.php Disallow: /forum/poll.php Disallow: /forum/postings.php Disallow: /forum/printthread.php Disallow: /forum/private.php Disallow: /forum/profile.php Disallow: /forum/register.php Disallow: /forum/report.php Disallow: /forum/reputation.php Disallow: /forum/search.php Disallow: /forum/sendmessage.php Disallow: /forum/showgroups.php Disallow: /forum/showpost.php Disallow: /forum/subscription.php Disallow: /forum/threadrate.php Disallow: /forum/usercp.php Disallow: /forum/usernote.php Disallow: /forum/news Disallow: /forum/redirect-to Disallow: /forum/redirect/ Disallow: /forum/faq.php?s= Disallow: /forum/external.php Disallow: /forum/sitemap/ Disallow: /forum/itrader.php Disallow: /*forum/banner.php Disallow: /blogs/comments/ Disallow: */feed/ Disallow: /*?sort= Disallow: /*utm_source= Disallow: /*referrerid= Disallow: /?site=colorzone Disallow: /*faq.php?s=&do=search Disallow: /tools/*showthread.php Disallow: /*threadrss.php Disallow: /*do=markread&readhash= Disallow: /*do=markread&markreadhash= Disallow: /test.html Host: sait.ru User-agent: Googlebot Crawl-delay: 3 Disallow: /forum2/ Disallow: /forum/blogs/ Disallow: /forum/blog.php Disallow: /forum/clientscript/ Disallow: /forum/cpstyles/ Disallow: /forum/customavatars/ Disallow: /forum/customprofilepics/ Disallow: /forum/img/ Disallow: /forum/images/ Disallow: /forum/includes/ Disallow: /forum/ajax.php Disallow: /forum/announcement.php Disallow: /forum/infraction.php Disallow: /forum/attachment.php Disallow: /forum/calendar.php Disallow: /forum/cron.php Disallow: /forum/editpost.php Disallow: /forum/global.php Disallow: /forum/image.php Disallow: /forum/inlinemod.php Disallow: /forum/joinrequests.php Disallow: /forum/login.php Disallow: /forum/member.php Disallow: /forum/memberlist.php Disallow: /forum/misc.php Disallow: /forum/moderator.php Disallow: /forum/newattachment.php Disallow: /forum/newreply.php Disallow: /forum/newthread.php Disallow: /forum/online.php Disallow: /forum/poll.php Disallow: /forum/postings.php Disallow: /forum/printthread.php Disallow: /forum/private.php Disallow: /forum/profile.php Disallow: /forum/register.php Disallow: /forum/report.php Disallow: /forum/reputation.php Disallow: /forum/search.php Disallow: /forum/sendmessage.php Disallow: /forum/showgroups.php Disallow: /forum/showpost.php Disallow: /forum/subscription.php Disallow: /forum/threadrate.php Disallow: /forum/usercp.php Disallow: /forum/usernote.php Disallow: /forum/news Disallow: /forum/redirect-to Disallow: /forum/redirect/ Disallow: /forum/faq.php?s= Disallow: /forum/external.php Disallow: /forum/sitemap/ Disallow: /forum/itrader.php Disallow: /*forum/banner.php Disallow: /blogs/comments/ Disallow: */feed/ Disallow: /*?sort= Disallow: /*utm_source= Disallow: /*referrerid= Disallow: /?site=colorzone Disallow: /*faq.php?s=&do=search Disallow: /tools/*showthread.php Disallow: /*threadrss.php Disallow: /*do=markread&readhash= Disallow: /*do=markread&markreadhash= Disallow: /test.html
Это пример с одного популярного форума. Опять же его дорабатывали под свои нужды и тебе придется лишнее выкинуть, а свое добавить при необходимости.(в дерективе host укажи свой сайт)
В основном каждый под себя делает robots. А посмотреть базу robots можно открыв популярные форумы на этом движке. Взять у них основу, а потом уже по мере необходимости добавлять свое.
Я уже где то писал в другой теме.
Я делаю так.
Захожу в вебмастер в раздел проверить url и кидаю туда ссылки.
Кидаю в течении дня, двух, то есть периодически, пока не будет ответа
После этого 1-2 ап страницы попадают в выдачу(если ап за те числа когда робот обходил)
P.s Кидаю проверить url и в старом и в новом вебмастере(если сайт не ГС, то мне помогает в 90%)
Бета толком не работает еще, смотреть в старом в данный момент более актуально. А вообще вчера у многих в бете пропали ссылки.
P.s Глюк как обычно.
Попробуй f5 нажать и попробуй отключить адблок на странице метрики(возможно он режет)
P.s Но больше похоже на проблемы с интернетом, страница не прогрузилась.
Я же написал кидать туда надо не один раз,периодически кидай и будет ответ.
После первого раза он пишет данные какие видит. А тебе надо получить ответ который я приводил в пример в сообщениях выше.
Он у всех есть зайди в вебмастер нажми на сайт с лева будут вкладки.
У новых сайтов которые не проиндексированы нельзя только подключить оригинальные тексты, все остальное есть.
Вкладка так и называется проверь URL (старый вебмастер, да и в новом есть такая вкладка, кидай и там и там)
Зайди в вебмастер, там есть графа проверить url, так вот, заходи каждый час и кидай его туда, до тех пор пока не получишь ответ
После такого ответа, страницы входят с 1-2 апами.(проверено на себе, опять же если сайт не копипаст и не ГС)
Попробуй.
Вебмани отвечает не намного быстрее. Хотя как и везде, раз на раз не приходится. (иногда быстро, иногда "вечность".)
По тел операторы там тоже как и везде, тапки не мои передаю вопрос в техническую службу или проблему знаем, техническая служба ей занимается.:)
Сначала в вебмастере проверить ответ от сервера.
Потом прогнать url страниц в разделе проверить url и посмотреть какой ответ будет.
И ждать обновления кабинета.(если ошибок нет, то надпись пропадает)
