robots.txt

27

Snickers777

21 февраля 2012, 12:31

680

User-agent: Slurp

Crawl-delay: 10

Disallow: /attachment.php

Disallow: /editpost.php

Disallow: /misc.php

Disallow: /moderator.php

Disallow: /newreply.php

Disallow: /newthread.php

Disallow: /online.php

Disallow: /postings.php

Disallow: /private.php

Disallow: /report.php

Disallow: /search.php

Disallow: /sendtofriend.php

Disallow: /threadrate.php

Disallow: /usercp.php

Disallow: /images/

Disallow: /backups/

Disallow: /ajax.php

Disallow: /album.php

Disallow: /announcement.php

Disallow: /register.php

Disallow: /admincp/

Disallow: /clientscript/

Disallow: /customavatars/

Disallow: /includes/

Disallow: /modcp/





User-agent: msnbot

Crawl-delay: 5

Disallow: /attachment.php

Disallow: /editpost.php

Disallow: /misc.php

Disallow: /moderator.php

Disallow: /newreply.php

Disallow: /newthread.php

Disallow: /online.php

Disallow: /postings.php

Disallow: /private.php

Disallow: /report.php

Disallow: /search.php

Disallow: /sendtofriend.php

Disallow: /threadrate.php

Disallow: /usercp.php

Disallow: /images/

Disallow: /backups/

Disallow: /ajax.php

Disallow: /album.php

Disallow: /announcement.php

Disallow: /register.php

Disallow: /admincp/

Disallow: /clientscript/

Disallow: /customavatars/

Disallow: /includes/

Disallow: /modcp/





User-agent: Yandex

Crawl-delay: 3

Host: unknown-hack.com

Disallow: /attachment.php

Disallow: /editpost.php

Disallow: /misc.php

Disallow: /moderator.php

Disallow: /newreply.php

Disallow: /newthread.php

Disallow: /online.php

Disallow: /postings.php

Disallow: /private.php

Disallow: /report.php

Disallow: /search.php

Disallow: /sendtofriend.php

Disallow: /threadrate.php

Disallow: /usercp.php

Disallow: /images/

Disallow: /backups/

Disallow: /ajax.php

Disallow: /album.php

Disallow: /announcement.php

Disallow: /register.php

Disallow: /admincp/

Disallow: /clientscript/

Disallow: /customavatars/

Disallow: /includes/

Disallow: /modcp/



User-Agent: Googlebot-Image

Crawl-delay: 10

Disallow: /





User-agent: Mediapartners-Google*

Disallow:





User-agent: *

Crawl-delay: 10

Disallow: /attachment.php

Disallow: /editpost.php

Disallow: /misc.php

Disallow: /moderator.php

Disallow: /newreply.php

Disallow: /newthread.php

Disallow: /online.php

Disallow: /postings.php

Disallow: /private.php

Disallow: /report.php

Disallow: /search.php

Disallow: /sendtofriend.php

Disallow: /threadrate.php

Disallow: /usercp.php

Disallow: /images/

Disallow: /backups/

Disallow: /ajax.php

Disallow: /album.php

Disallow: /announcement.php

Disallow: /register.php

Disallow: /admincp/

Disallow: /clientscript/

Disallow: /customavatars/

Disallow: /includes/

Disallow: /modcp/



Sitemap: http://www.unknown-hack.com/sitemap_index.xml.gz

Правильно ли я составил файл robots.txt?

Движок vbulletin 4

Заранее спасибо)

---------- Добавлено 21.02.2012 в 17:30 ----------

UP!UP!UP!UP!UP!UP!

V

124

Vitiai

21 февраля 2012, 16:55

#1

Snickers777:

User-agent: Slurp
Crawl-delay: 10
Disallow: /attachment.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /report.php
Disallow: /search.php
Disallow: /sendtofriend.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /images/
Disallow: /backups/
Disallow: /ajax.php
Disallow: /album.php
Disallow: /announcement.php
Disallow: /register.php
Disallow: /admincp/
Disallow: /clientscript/
Disallow: /customavatars/
Disallow: /includes/
Disallow: /modcp/


User-agent: msnbot
Crawl-delay: 5
Disallow: /attachment.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /report.php
Disallow: /search.php
Disallow: /sendtofriend.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /images/
Disallow: /backups/
Disallow: /ajax.php
Disallow: /album.php
Disallow: /announcement.php
Disallow: /register.php
Disallow: /admincp/
Disallow: /clientscript/
Disallow: /customavatars/
Disallow: /includes/
Disallow: /modcp/


User-agent: Yandex
Crawl-delay: 3
Host: unknown-hack.com
Disallow: /attachment.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /report.php
Disallow: /search.php
Disallow: /sendtofriend.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /images/
Disallow: /backups/
Disallow: /ajax.php
Disallow: /album.php
Disallow: /announcement.php
Disallow: /register.php
Disallow: /admincp/
Disallow: /clientscript/
Disallow: /customavatars/
Disallow: /includes/
Disallow: /modcp/

User-Agent: Googlebot-Image
Crawl-delay: 10
Disallow: /


User-agent: Mediapartners-Google*
Disallow:


User-agent: *
Crawl-delay: 10
Disallow: /attachment.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /report.php
Disallow: /search.php
Disallow: /sendtofriend.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /images/
Disallow: /backups/
Disallow: /ajax.php
Disallow: /album.php
Disallow: /announcement.php
Disallow: /register.php
Disallow: /admincp/
Disallow: /clientscript/
Disallow: /customavatars/
Disallow: /includes/
Disallow: /modcp/

Sitemap: http://www.unknown-hack.com/sitemap_index.xml.gz

Правильно ли я составил файл robots.txt?
Движок vbulletin 4
Заранее спасибо)

---------- Добавлено 21.02.2012 в 17:30 ----------

UP!UP!UP!UP!UP!UP!

У вас ПС какая основная? Яндекс, если да я бы поставил

User-agent: Yandex на самый верх, а так вроде все правильно

Компания по устройству буронабивных свай (https://drilling-msk.ru/)

370

kimberlit

21 февраля 2012, 17:06

#2

Vitiai:
User-agent: Yandex на самый верх

И что это даст? :D

S7

27

Snickers777

22 февраля 2012, 11:19

#3

У меня пока Google даёт приток посетителей.

Яндекс очерь редко хоть что - то.

675

vandamme

22 февраля 2012, 12:03

#4

я бы для яндекса оставил отдельную, а все остальное звездочки хватит

427

siv1987

22 февраля 2012, 15:33

#5

kimberlit:
И что это даст?

Как же, - позиций, яндекс не любит когда его секция находится последний, может занизить сайт. На одном сайте даже наблюдался небольшой сдвиг после смене их местами.

S7

27

Snickers777

26 февраля 2012, 17:24

#6

siv1987:
Как же, - позиций, яндекс не любит когда его секция находится последний, может занизить сайт. На одном сайте даже наблюдался небольшой сдвиг после смене их местами.

Интересно - никогда не слышал такого)

Так сделать?

User-agent: Yandex

Crawl-delay: 3

Host: unknown-hack.com

Disallow: /attachment.php

Disallow: /editpost.php

Disallow: /misc.php

Disallow: /moderator.php

Disallow: /newreply.php

Disallow: /newthread.php

Disallow: /online.php

Disallow: /postings.php

Disallow: /private.php

Disallow: /report.php

Disallow: /search.php

Disallow: /sendtofriend.php

Disallow: /threadrate.php

Disallow: /usercp.php

Disallow: /images/

Disallow: /backups/

Disallow: /ajax.php

Disallow: /album.php

Disallow: /announcement.php

Disallow: /register.php

Disallow: /admincp/

Disallow: /clientscript/

Disallow: /customavatars/

Disallow: /includes/

Disallow: /modcp/



User-agent: Slurp

Crawl-delay: 10

Disallow: /attachment.php

Disallow: /editpost.php

Disallow: /misc.php

Disallow: /moderator.php

Disallow: /newreply.php

Disallow: /newthread.php

Disallow: /online.php

Disallow: /postings.php

Disallow: /private.php

Disallow: /report.php

Disallow: /search.php

Disallow: /sendtofriend.php

Disallow: /threadrate.php

Disallow: /usercp.php

Disallow: /images/

Disallow: /backups/

Disallow: /ajax.php

Disallow: /album.php

Disallow: /announcement.php

Disallow: /register.php

Disallow: /admincp/

Disallow: /clientscript/

Disallow: /customavatars/

Disallow: /includes/

Disallow: /modcp/



User-agent: msnbot

Crawl-delay: 5

Disallow: /attachment.php

Disallow: /editpost.php

Disallow: /misc.php

Disallow: /moderator.php

Disallow: /newreply.php

Disallow: /newthread.php

Disallow: /online.php

Disallow: /postings.php

Disallow: /private.php

Disallow: /report.php

Disallow: /search.php

Disallow: /sendtofriend.php

Disallow: /threadrate.php

Disallow: /usercp.php

Disallow: /images/

Disallow: /backups/

Disallow: /ajax.php

Disallow: /album.php

Disallow: /announcement.php

Disallow: /register.php

Disallow: /admincp/

Disallow: /clientscript/

Disallow: /customavatars/

Disallow: /includes/

Disallow: /modcp/



User-Agent: Googlebot-Image

Crawl-delay: 10

Disallow: /



User-agent: Mediapartners-Google*

Disallow:



User-agent: *

Crawl-delay: 10

Disallow: /attachment.php

Disallow: /editpost.php

Disallow: /misc.php

Disallow: /moderator.php

Disallow: /newreply.php

Disallow: /newthread.php

Disallow: /online.php

Disallow: /postings.php

Disallow: /private.php

Disallow: /report.php

Disallow: /search.php

Disallow: /sendtofriend.php

Disallow: /threadrate.php

Disallow: /usercp.php

Disallow: /images/

Disallow: /backups/

Disallow: /ajax.php

Disallow: /album.php

Disallow: /announcement.php

Disallow: /register.php

Disallow: /admincp/

Disallow: /clientscript/

Disallow: /customavatars/

Disallow: /includes/

Disallow: /modcp/



Sitemap: http://www.unknown-hack.com/sitemap_index.xml.gz

370

kimberlit

26 февраля 2012, 17:27

#7

siv1987:
Как же, - позиций, яндекс не любит когда его секция находится последний, может занизить сайт. На одном сайте даже наблюдался небольшой сдвиг после смене их местами.

Что курим?

1

62

mvg

27 февраля 2012, 04:59

#8

siv1987:
Как же, - позиций, яндекс не любит когда его секция находится последний, может занизить сайт. На одном сайте даже наблюдался небольшой сдвиг после смене их местами.

А еще он может занизить сайт если тот по запросу в Гугле выше стоит :)

Переиграть и победить: как анализировать конкурентов для продвижения сайта

Вышел новый Яндекс Браузер с YandexGPT и YandexART