Форум Практика оптимизации Любые вопросы от новичков по оптимизации

ROBOTS.txt на DLE 9.4

V
На сайте с 02.08.2011
Offline
50
Vadimts
1880

Всем привет, составил значит такой роботс: 

User-agent: *

Disallow: /index.php?do=register

Disallow: /index.php?do=addnews

Disallow: /*print

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /favorites/*

Disallow: /*index.php?do=pm*

Disallow: /*index.php?do=lostpassword

Disallow: /*index.php?subaction=newposts

Disallow: /user/*

Disallow: /admin/*

Disallow: /engine/

Disallow: /themes/*

Disallow: /include/*

Disallow: /backup/*

Disallow: /templates/*

Disallow: /language/*

Disallow: /index.php?year=

# Google Image

User-agent: Googlebot-Image

Disallow:

Allow: /*



# Google AdSense

User-agent: Mediapartners-Google*

Disallow:

Allow: /*



# Internet Archiver Wayback Machine

User-agent: ia_archiver

Disallow: /



Sitemap: http://сайт/uploads/sitemap.xml

Host: сайт.ru

Просьба написать, все ли правильно, что дописать? Хочу сделать идеальный роботс для всех машин.:idea:

lustoff
На сайте с 14.10.2011
Offline
76
lustoff
#1

А где User-agent: Yandex?

lustoff добавил 10.12.2011 в 20:04

Он наш, особенный)

https://04744.biz (https://04744.biz) - доска объявлений Умани. Вы уверены, что ваше мнение не навязано другими? (http://www.youtube.com/watch?v=CX6VvoTo0Qc&feature=related)
V
На сайте с 02.08.2011
Offline
50
Vadimts
#2 

User-agent: *

Disallow: /index.php?do=register

Disallow: /index.php?do=addnews

Disallow: /*print

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /favorites/*

Disallow: /*index.php?do=pm*

Disallow: /*index.php?do=lostpassword

Disallow: /*index.php?subaction=newposts

Disallow: /user/*

Disallow: /admin/*

Disallow: /engine/

Disallow: /themes/*

Disallow: /include/*

Disallow: /backup/*

Disallow: /templates/*

Disallow: /language/*

Disallow: /index.php?year=



User-agent: Yandex

Disallow: /index.php?do=register

Disallow: /index.php?do=addnews

Disallow: /*print

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /favorites/*

Disallow: /*index.php?do=pm*

Disallow: /*index.php?do=lostpassword

Disallow: /*index.php?subaction=newposts

Disallow: /user/*

Disallow: /admin/*

Disallow: /engine/

Disallow: /themes/*

Disallow: /include/*

Disallow: /backup/*

Disallow: /templates/*

Disallow: /language/*

Disallow: /index.php?year=



# Google Image

User-agent: Googlebot-Image

Disallow:

Allow: /*



# Google AdSense

User-agent: Mediapartners-Google*

Disallow:

Allow: /*



# Internet Archiver Wayback Machine

User-agent: ia_archiver

Disallow: /



Sitemap: http://boomz.ru/uploads/sitemap.xml

Host: boomz.ru

Нужно было ли указывать заново все disallow, когда писал User-agent: Yandex?

lustoff
На сайте с 14.10.2011
Offline
76
lustoff
#3

Vadimts, честно - уже не помню. Но мне вбилось в голову, что нужно для Яндекса те же правила вбить отдельно что и для остальных роботов

N9
На сайте с 04.07.2011
Offline
11
nautilus99
#4
lustoff:
Vadimtsнужно для Яндекса те же правила вбить отдельно что и для остальных роботов

Кто нибудь может объяснить - для чего отдельно указывать бота яндекса, если для него не задано никаких правил, отличных от User-agent: * ?

erotic
На сайте с 26.02.2010
Offline
37
erotic
#5

У меня такой

User-agent: *
Disallow: /*rss
Disallow: /tags/
Disallow: /page/
Disallow: /2011/
Disallow: /stats/
Disallow: /cache/
Disallow: /backup/
Disallow: /newposts/
Disallow: /language/
Disallow: /?do=cat&
Disallow: /adv.html
Disallow: /rules.html
Disallow: /contact.html
Disallow: /engine/go.php
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /?do=lastcomments
Disallow: /index.php?newsid
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /*subaction=userinfo
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Sitemap: http://сайт.ru/sitemap.xml
Host: сайт.ru

User-agent: * т.е для всех пс поддерживающих robots.txt

Я езжу на Opel Astra J GTC 1.4 MT6 (http://www.drive2.ru/cars/opel/astra_j_gtc/astra_j_gtc/andro07/)
WebAlt
На сайте с 02.12.2007
Offline
251
WebAlt
#6
nautilus99:
Кто нибудь может объяснить - для чего отдельно указывать бота яндекса, если для него не задано никаких правил, отличных от User-agent: * ?

Это называется "горе-оптимизаторы". Указывать не нужно, * для всех ботов ПС и "Яша" её прекрасно понимает. Другое дело, что у Яндекса и Google есть разные боты, которым можно запретить/разрешить индексирование определённый тип контента на сайте:

http://help.yandex.ru/webmaster/?id=996567#996568

http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=1061943

Этим кстати пренебрегают многие, а зря, правильная конфигурация robotx.txt, только в плюс (он конечно же индивидуален для сайта). Имхо.

А, ну да, у "Яши" еще хост и карта отдельно.;)

ruizAv
На сайте с 08.06.2004
Offline
67
ruizAv
#7
WebAlt:
Этим кстати пренебрегают многие, а зря, правильная конфигурация robotx.txt, только в плюс (он конечно же индивидуален для сайта). Имхо.

Освети, если не сложно, в чем именно плюс от "разных ботов"? Чем и кому помогло?

WebAlt:
А, ну да, у "Яши" еще хост и карта отдельно.;)

это еще зачем?

WebAlt
На сайте с 02.12.2007
Offline
251
WebAlt
#8
ruizAv:
Освети, если не сложно, в чем именно плюс от "разных ботов"? Чем и кому помогло?

В моём ответе разве "помогло"?

WebAlt добавил 11.12.2011 в 11:19

ruizAv:
это еще зачем?

Читайте "хелпы", аль не судьба?

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#9
Vadimts:
Disallow:
Allow: /*

Это что за порнуха?

variousmetal
На сайте с 10.12.2009
Offline
71
variousmetal
#10

А как запретить к индексации данных страниц в гугле, а именно теги, пользователи и версия для печати

User-agent: *

Disallow: /*print

Disallow: /user/

Disallow: /tags/

Белый каталог статей (http://rusarticles.su/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий