Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

В robots.txt ошибка

V
На сайте с 16.12.2010
Offline
152
Vistaa
1097

Я сделал robots.txt , когда проверял его на ошибки в вебмастере яндекса, то выбило: Некоректное имя главного зеркала сайта Сайт у меня один . В строке host прописал свой сайт.

serg690
На сайте с 19.10.2008
Offline
102
serg690
#1
Vistaa:
В строке host прописал свой сайт.

Текст вашего robots.txt в студию.

Лучше деньги в руке, чем журавль в небе. ►Miralinks (http://goo.gl/hG48e)
V
На сайте с 16.12.2010
Offline
152
Vistaa
#2

Вот он красавец: User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: /feed

Disallow: /tag

Disallow: /category/*/*

Disallow: */trackback

Disallow: */feed

Disallow: /xmlrpc.php

Disallow: /*?*

Disallow: /*?

Allow: /wp-content/uploads

# Google Image

User-agent: Googlebot-Image

Disallow:

Allow: /*

# Google AdSense

User-agent: Mediapartners-Google*

Disallow:

Allow: /*

# Internet Archiver Wayback Machine

User-agent: ia_archiver

Disallow: /

# digg mirror

User-agent: duggmirror

Disallow: /

User-agent: Yandex

Crawl-delay: 5

Host: http://www.softzatak.ru

Sitemap: http://www.softzatak.ru/sitemap.xml

Карту xml хочу щас только создать и добавит.

Правильно составил robots.txt? Яндекс не хочет индексировать Robots и sitemap
kbv79
На сайте с 24.03.2007
Offline
167
kbv79
#3

Host должен после директивы Disallow идти и без http://.

serg690
На сайте с 19.10.2008
Offline
102
serg690
#4
Vistaa:
Host: http://www.softzatak.ru

Так я и думал. Сделайте так, как сказал kbv79 и по robots-у курите http://robotstxt.org.ru/

V
На сайте с 16.12.2010
Offline
152
Vistaa
#5

Спасибо, исправил (удалил http://) и заработало нормально.

zxcvb
На сайте с 26.11.2007
Offline
69
zxcvb
#6

неверно у вас для яндекса блок составлен:

1. директива Disallow обязательно должна быть (если все разрешено, то пустая)

2. перед Host не должно быть пропусков строки.

K
На сайте с 31.01.2001
Offline
737
Kost
#7

И у Sitemap должно быть http://

http://help.yandex.ru/webmaster/?id=996567

Итого осталось 3 ошибки.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
DO
На сайте с 20.01.2010
Offline
55
dustyo_O
#8
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /tag
Disallow: /category/*/
Disallow: /*/trackback
Disallow: /*/feed
Disallow: /xmlrpc.php
Disallow: /*?
Allow: /wp-content/uploads
Host: www.softzatak.ru
Sitemap: http://www.softzatak.ru/sitemap.xml

User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /tag
Disallow: /category/*/
Disallow: /*/trackback
Disallow: /*/feed
Disallow: /xmlrpc.php
Disallow: /*?
Allow: /wp-content/uploads

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /tag
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Вот код корректного robots. Не все роботы поддерживают звездочку, так что директивы со звездочкой убраны из user-agent: *

Crawl-delay довольно бесполезен.

* на конце ровным счетом ничего не означает, так что лишняя

платно проведу аудит сайта и исправлю все технические проблемы, которые могут мешать продвижению (/ru/forum/594052)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий