Опять про Роботс.тхт

12
-
На сайте с 04.11.2009
Offline
89
688

мой роботс выгляедт так:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes

Sitemap: http://fotoplenka.kiev.ua/sitemap.xml

А теперь, знатоки, вопрос)

Гугл ВМ говорит, что:

http://www.fotoplenka.kiev.ua/
URL, запрещенный файлом robots.txt

Главную google в индекс не включил, хотя включил все остальные

Яндекс в индексе главную держит, хотя без сниппета и тайтла

Моя догадка - не хватает строки Allow: /

правильно думаю?

kimberlit
На сайте с 13.03.2007
Offline
370
#1

Нормальный роботс.

Зачем с www забиваешь?

-
На сайте с 04.11.2009
Offline
89
#2

а www. это я когда-то в вебмастере вбил. разве может влиять на индекс??

kimberlit
На сайте с 13.03.2007
Offline
370
#3
-Ren-:
а www. это я когда-то в вебмастере вбил. разве может влиять на индекс??

Так у тебя редирект стоит. Ты сам в браузере вбей с ввв и посмотри куда попадёшь.

-
На сайте с 04.11.2009
Offline
89
#4

вижу. так разве это может повлиять на то, что гугл главную не берет в индекс?

в роботсе-то у меня без ввв прописано, а на команду site:fotoplenka.kiev.ua он показывает все, кроме главной.

а поменять никак нельзя теперь?)

только заново добавить?

kimberlit
На сайте с 13.03.2007
Offline
370
#5
-Ren-:
в роботсе-то у меня без ввв прописано, а на команду site:fotoplenka.kiev.ua он показывает все, кроме главной.

И что? Роботс тут каким боком? Роботс нормальный у тебя.

-
На сайте с 04.11.2009
Offline
89
#6

к тому, что в вебмастере я провтыкал, конечно, но на индексацию-то это не влияет никак. странно просто что главная никак не влазит, думал что в этом проблема. и вебмастер гугловский выходит ошибочно думает, что главная закрыта.

ну спасибо тогда, буду думать

Soniqq
На сайте с 26.07.2010
Offline
96
#7

У меня для wp стоит так:

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Host: www.domainsfree.ru

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Sitemap: http://www.domainsfree.ru/sitemap.xml

Яндекс.Директ и Google.Adwords для сферы услуг и оптовых продаж (/ru/forum/1000733)
ParserYa
На сайте с 04.10.2010
Offline
29
#8

Soniqq, Что за бред? Яндекс прекрасно понимает User-agent: * если не найдено User-agent: Yandex

Использовать User-agent: Yandex стоит, если вы хотите изменить правила поведения ИМЕННО Яндекс робота, а не просто повторить те же самые правила, что б robots.txt смотрелось внушительнее... Продублируйте тогда для каждого юзер-агента, че нет-то?

izbushka
На сайте с 08.06.2007
Offline
110
#9
ParserYa:
Soniqq, Что за бред? Яндекс прекрасно понимает User-agent: *

Директиву Host понимает только яндекс.

ТС, Allow директивы не бывает

ParserYa
На сайте с 04.10.2010
Offline
29
#10
izbushka:
Директиву Host понимает только яндекс.

Если ПС не понимает какую-то директиву она ее игнорирует. robots.txt - это набор рекомендаций, а не правил.

izbushka:
ТС, Allow директивы не бывает

Че серьезно? Другое дело, что далеко не все ПС понимают эту директиву, поэтому рекомендуется использовать Disallow

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий