Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Подскажите с robots.txt

12
M
На сайте с 22.11.2010
Offline
17
marden
1867

Здраствуйте, прошу подсказать с robots

Вот мой robots.txt: 

User-agent: *

Disallow: /*print

Disallow: /user/

Disallow: /catalog/

Disallow: /2011/

Disallow: /newposts/

Disallow: /admin.php

Disallow: /autobackup.php

Disallow: /info.html

Disallow: /cache/

Disallow: /favorites/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /*print

Disallow: /templates/

Disallow: /uploads/

Disallow: /backup/

Disallow: /languages/

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=stats

Disallow: /index.php?do=addnews

Disallow: /index.php?subaction=newposts

Disallow: /?do=lastcomments

Sitemap: http://site.ru/sitemap.xml

User-agent: Yandex

Host: site.ru

Подскажите пожалуйста, правильно ли составлен?, какие ошибки, может чего-то нехватает, посоветуйте, гоша почему то проиндексировал страницу site.ru/2011/02/13, хотя вроде поставлен запрет, нужны ли делать запреты отдельно для каждого поисковика?, или как щас - сразу для всех, и еще подскажите пожалуйста нужно чтобы индексировались теги? - site.ru/tags, site.ru/tags/2011. Сайт на игровую тематику, спасибо

dlepro_com
На сайте с 16.12.2009
Offline
39
dlepro_com
#1
marden:
Здраствуйте, прошу подсказать с robots

Вот мой robots.txt:

User-agent: *
.......
User-agent: Yandex
Host: site.ru


Подскажите пожалуйста, правильно ли составлен?, какие ошибки, может чего-то нехватает, посоветуйте, гоша почему то проиндексировал страницу site.ru/2011/02/13, хотя вроде поставлен запрет, нужны ли делать запреты отдельно для каждого поисковика?, или как щас - сразу для всех, и еще подскажите пожалуйста нужно чтобы индексировались теги? - site.ru/tags, site.ru/tags/2011. Сайт на игровую тематику, спасибо

У вас нет запрета индексации site.ru/2011/02/13 для Яндекса и зачем для роботов Disallow: /admin.php?

сами путь к админке врагам показываете и Disallow: /autobackup.php лишнее, а так же Disallow: /backup/.

Глупость с Disallow: /uploads/ - Ваши картинки не попадут в индекс, а значит потеря трафика и т.д, да и архивы бы я не закрывал (речь о Disallow: /2011/).

.

В Яндекс.Вебмастер(webmaster.yandex.ru) в Настройках индексирования вашего сайта есть инструмент Анализ robots.txt им и тестируйте и на помощь в правом блоке обратите внимание там же.

Все вопросы по robots.txt подскажите по robots.txt Что нужно закрывать от
M
На сайте с 22.11.2010
Offline
17
marden
#2

вот, немного подправил 

User-agent: Yandex

Disallow: /*print

Disallow: /user/

Disallow: /catalog/

Disallow: /newposts/

Disallow: /admin.php

Disallow: /info.html

Disallow: /cache/

Disallow: /favorites/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /*print

Disallow: /templates/

Disallow: /backup/

Disallow: /languages/

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=stats

Disallow: /index.php?do=addnews

Disallow: /index.php?subaction=newposts

Disallow: /?do=lastcomments

Sitemap: http://site.ru/sitemap.xml

User-agent: Yandex

Host: site.ru



User-agent: *

Disallow: /*print

Disallow: /user/

Disallow: /catalog/

Disallow: /newposts/

Disallow: /admin.php

Disallow: /info.html

Disallow: /cache/

Disallow: /favorites/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /*print

Disallow: /templates/

Disallow: /backup/

Disallow: /languages/

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=stats

Disallow: /index.php?do=addnews

Disallow: /index.php?subaction=newposts

Disallow: /?do=lastcomments

Sitemap: http://site.ru/sitemap.xml

может еще какие-то ошибки есть?, подскажите

K
На сайте с 31.01.2001
Offline
737
Kost
#3

Ну вы даете.

Две строчки

User-agent: Yandex

Это как понимать?

Вы, вообще, help.yandex.ru хоть раз открывали?

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
Антон Белов
На сайте с 28.05.2010
Offline
183
Антон Белов
#4
dlepro_com:
да и архивы бы я не закрывал

советуете оставлять дубли и ждать агс? Ну ну...

Аудит за 100 рублей (/ru/forum/787849) теперь реальность курс Подводные камни мфа (/ru/forum/comment/11861126) - всего за 100 рублей Твой сервер снова лежит? Пользуюсь Inferno Solutions, таких проблем не знаю. (http://cp.inferno.name/link.php?id=13)
dlepro_com
На сайте с 16.12.2009
Offline
39
dlepro_com
#5
Антон Белов:
советуете оставлять дубли и ждать агс? Ну ну...

Дубли чего приведите пример? ...но с 2011 согласен будет дублем в этом году...

А в остальном при первом и втором типе ЧПУ(в нынешний момент эти типы ЧПУ у большинства сайтов) какой АГС и причём тут архив?

если ваш сайт статичен и вы не обновляете его вообще, то да, такое только теоретически может быть дублем в категории или страницах навигации сайта.

а так как страницы категорий и навигации наполняясь контентом изменяются...

хотя исходя из этой концепции страницы навигации, категорий, тегов являются дублями и также все сайты загонят под АГС

ТС,

что вы поправили?

вы даже Disallow: /admin.php не убрали...

short&full story Это может быть причиной Вылет СДЛ из индекса
muratti
На сайте с 31.05.2008
Offline
238
muratti
#6 

User-agent: Googlebot

Disallow: /trololo.html



User-agent: Yandex

Disallow: /trololo.html

Host: site.ru

Sitemap: http://site.ru/sitemap.xml
vandamme
На сайте с 30.11.2008
Offline
675
vandamme
#7

да в дле 9,2 идет роботс от разработчиков

muratti
На сайте с 31.05.2008
Offline
238
muratti
#8
vandamme:
да в дле 9,2 идет роботс от разработчиков

Унылый там роботс. :D

vandamme
На сайте с 30.11.2008
Offline
675
vandamme
#9

muratti, сайт прекрасно может жить и без роботса :D

M
На сайте с 22.11.2010
Offline
17
marden
#10

Спасибо, я учел все ваши замечания, в итоге получилось так: 

User-agent: Yandex

Disallow: /*print

Disallow: /user/

Disallow: /catalog/

Disallow: /newposts/

Disallow: /info.html

Disallow: /cache/

Disallow: /favorites/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /*print

Disallow: /templates/

Disallow: /backup/

Disallow: /languages/

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=stats

Disallow: /index.php?do=addnews

Disallow: /index.php?subaction=newposts

Disallow: /?do=lastcomments

Sitemap: http://site.ru/sitemap.xml

Host: site.ru



User-agent: *

Disallow: /*print

Disallow: /user/

Disallow: /catalog/

Disallow: /newposts/

Disallow: /info.html

Disallow: /cache/

Disallow: /favorites/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /*print

Disallow: /templates/

Disallow: /backup/

Disallow: /languages/

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=stats

Disallow: /index.php?do=addnews

Disallow: /index.php?subaction=newposts

Disallow: /?do=lastcomments

Sitemap: http://site.ru/sitemap.xml

Host: site.ru
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий