Помогите с robots.txt

P
На сайте с 27.07.2009
Offline
80
1654

Вот На этом сайте www.pushseo.com.ua посмотрите, как там сделан роботс.тхт. Все правильно, но в панели яндекс вебмастера говорит аш сайт не проиндексирован Яндексом. (Индексирование сайта запрещено в robots.txt? Почему? Что может быть не так?

Step40
На сайте с 12.02.2009
Offline
245
#1

Ну если вы считаете запрет индексации всего сайта - все правильно....то чего удивляетесь? учим....

P
На сайте с 27.07.2009
Offline
80
#2
Step40:
Ну если вы считаете запрет индексации всего сайта - все правильно....то чего удивляетесь? учим....

Так правильно! У меня же там не стоит правый слешь!

User-agent: Yandex

Disallow:

Host: pushseo.com.ua

Если бы после Disallow: стоял правый слешь, тогда бы это закрывало индексацию! А так все правильно.

http://robotstxt.org.ru/robotsexclusion/guide

Sergover
На сайте с 12.10.2009
Offline
57
#3
Pywkin:
Так правильно! У меня же там не стоит правый слешь!

User-agent: Yandex
Disallow:
Host: pushseo.com.ua

Если бы после Disallow: стоял правый слешь, тогда бы это закрывало индексацию! А так все правильно.

http://robotstxt.org.ru/robotsexclusion/guide

Ну что издеваетесь - вам уже даже ссылку дали

цитата: "Недопустимо наличие пустых переводов строки между директивами 'User-agent' и 'Disallow' ('Allow'), а также между самими 'Disallow' ('Allow') директивами."

Уберите Disallow: или поставте Allow: / если вам так нравится 🚬

Магазин аккаунтов с балансом Litres,DNS,Ozon,Rotapost и еще 50+ других сервисов тут - vk.cc/7QK0Sk
chuchi
На сайте с 05.06.2007
Offline
74
#4

сделай роботс таким и всё заработает в течение 4-6 недель:

User-agent: *

Disallow:

Host: pushseo.com.ua

Robin_Bad
На сайте с 24.12.2007
Offline
85
#5

такое ощущение, что Яндекс клал на собственные же рекомендации

P
На сайте с 27.07.2009
Offline
80
#6
Robin_Bad:
такое ощущение, что Яндекс клал на собственные же рекомендации

Если кому-то интересно, то я решил проблему. Описание проблемы тут

samimages
На сайте с 31.05.2009
Offline
427
#7
Проблемма индексации Яндексом или запрет на индексацию в robots.txt (Работа над ошибками)

Столкнулся недавно с такой проблемой: сделал наконец-то свой сайт-портфолио pushseo.com.ua и начала проводить на нем все оптимизационные работы. Прописал везде необходимые тайтлы, дискрипшины, поставил сайт на статистику GoogleAnalytics, добавил сайт в Google Webmaster Tools. И вот подошла очередь ЯндексВебмастера.

На первый взгляд все сделал правильно. Добавил сайт в виде www.pushseo.com.ua в панель ЯндексВебмастера, подтвердил права пользования посредством текстового файла и все прошло гладно, но Вебмастер мне выдал «Индексирование сайта запрещено в robots.txt».

Вот какой у меня был robots.txt:

User-agent: Yandex
Disallow:
Host: pushseo.com.ua

Спустя два дня до меня дошло, что проблема была в том, что добавил я сайт с «www», а в robots.txt написал, что «Host: pushseo.com.ua», то бишь без «www».

Оказывается, что для Яндекса это оказалось проблемой и для него такая запись была преградой и запретом для индексирования моего сайта.

Надеюсь вам поможет этот пост, если вы допустите такую же ошибку, как я.

Зэ бэст из ет ту кам!

абзац....

http://help.yandex.ru/webmaster/?id=996567#996574

и на всякий случай

http://www.google.ru/search?hl=ru&newwindow=1&client=opera&hs=6Vt&rls=ru&q=far&btnG=%D0%9F%D0%BE%D0%B8%D1%81%D0%BA&aq=f&aqi=g10&aql=&oq=&gs_rfai=

Опыт как иммунитет — приобретается в муках! Аудит семантики от 15К [долго] - ЛС
murvuz
На сайте с 14.06.2007
Offline
191
#8
Sergover:
Ну что издеваетесь - вам уже даже ссылку дали
цитата: "Недопустимо наличие пустых переводов строки между директивами 'User-agent' и 'Disallow' ('Allow'), а также между самими 'Disallow' ('Allow') директивами."

Уберите Disallow: или поставте Allow: / если вам так нравится 🚬
Директивы Allow-Disallow без параметров.

Отсутствие параметров у директивы трактуется следующим образом:

User-agent: Yandex
Disallow: # тоже что и Allow: /

User-agent: Yandex
Allow: # тоже что и Disallow: /

Источник.

Я не на одном сайте делал как у ТС и все было ОК.

" А не спеть ли нам песню? О любвииии..."

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий