Помогите чё с robots.txt не так?

MH
На сайте с 22.06.2012
Offline
22
986

Помогите пожалуйста чё то с robots.txt не так? (DLE 9.8)

Гугл пишет "Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее..."

User-agent: Yandex
Disallow: /*print
Disallow: /autobackup.php
Disallow: /user/
Disallow: /2013/
Disallow: /2014/
Disallow: /page/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /user/
Disallow: /user/
Disallow: /2013/
Disallow: /2014/
Disallow: /page/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Sitemap: http://site.ru/sitemap.xml
Везде где есть человек, есть возможность для добра...
[Удален]
#1

Укажите еще адрес веб-страницы, описание которой Гуглу недоступно.

MH
На сайте с 22.06.2012
Offline
22
#2

Ой извините , сам разобрался я же их сам в robots.txt закрыл...)))паника была лишней)))

Чтобы не создавать новой темы спрошу тут ... robots.txt WordPress такого типа правильный?

User-agent: *
Allow: */uploads
Disallow: /cgi-bin
Disallow: /wp-
Disallow: *?s=
Disallow: *?attachment_id=
Disallow: */feed
Disallow: /xmlrpc.php

Sitemap: http://site.ru/sitemap.xml
Sitemap: http://site.ru/sitemap2.xml

Host: www.site.ru
A
На сайте с 09.12.2008
Offline
32
#3

По первому вопросу, скажи что у тебя было и что ты удалил? У Меня вообще в файле роботс ничего не закрыто, на то что он ругается!

RT
На сайте с 02.07.2012
Offline
90
#4
alexandrkaaa:
По первому вопросу, скажи что у тебя было и что ты удалил? У Меня вообще в файле роботс ничего не закрыто, на то что он ругается!

это вы так думаете. роботс и url в студию

A
На сайте с 09.12.2008
Offline
32
#5


User-agent: *
Disallow: /engine/ajax/
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /favorites/
Disallow: /newposts/
Disallow: /catalog/
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

User-agent: Yandex
Disallow: /engine/ajax/
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /favorites/
Disallow: /newposts/
Disallow: /catalog/
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Host: site.ru

Sitemap: http://site.ru/sitemap.xml

А гугл ругается на страницы следующие: (имя сайта убрал)

http://site.ru/cliparts/backgrounds/192968-fony-otpechatok-na-peske-backgrounds-imprint-on-to-sand.html

http://site.ru/cliparts/clipartvector/180052-reklamnye-shablony-template-for-print-advertising-vector.html

http://site.ru/cliparts/clipartvector/180616-reklamnye-shablony-chast-2-template-for-print-advertising-vector-set-2.html

и т.д. таких страниц много

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий