Правильно ли написан robots.txt ???

123 4
[Удален]
#11
murvuz:
Я никогда не прописывал отдельно для Яндекса. Он нормально понимает и на User-agent: *
А соблюдая синтаксис, host важно написать непосредственно после 'Disallow'('Allow'). Вам тоже по ссылке с моего предыдущего поста ;)

Добавил )

так синтаксис соблюден для Яши, но не для др.ПС

User-agent: *
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/
Host: seo.kg

так синтаксис соблюден для всех ПС

User-agent: *
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/

User-Agent: Yandex
Disallow:
Host: seo.kg

User-Agent: - и предназначен для того, чтобы указывать роботов разных систем.

murvuz
На сайте с 14.06.2007
Offline
191
#12
Kimochi:


так синтаксис соблюден для всех ПС
User-agent: *
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/

User-Agent: Yandex
Disallow:
Host: seo.kg


Так wp-content, wp-includes, wp-admin индексируются Яндексом.

murvuz добавил 09.06.2009 в 01:06

Kimochi:


так синтаксис соблюден для Яши, но не для др.ПС
User-agent: *
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/
Host: seo.kg

Другие ПС нормально сожрут такой роботс. ПС не поддерживающие Host просто его проигнорируют.

" А не спеть ли нам песню? О любвииии..."
MS
На сайте с 08.02.2009
Offline
89
#13

НАОБОРОТ:

Kimochi:
Добавил )
так синтаксис соблюден для всех ПС, в т. ч. Яндекс
User-agent: *
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/
Host: seo.kg


А В ДАННОМ СЛУЧАЕ, ДЛЯ ЯНДЕКСА У ВАС ОТКРЫТО ВСЁ К ИНДЕКСАЦИИ,
А ВАША ЗАДАЧА, ЗАКРЫТЬ И ОТ ЯНДЕКСА, В ТОМ ЧИСЛЕ wp-content, wp-includes, wp-admin

ЗДЕСЬ НАОБОРОТ СИНТАКСИС НЕ СОБЛЮДЁН ДЛЯ ВСЕХ ПС
User-agent: *
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/

User-Agent: Yandex
Disallow:
Host: seo.kg


User-Agent: - и предназначен для того, чтобы указывать роботов разных систем.

Интересные рассуждения получаются...

[Удален]
#14
murvuz:
Так ИМХО wp-content, wp-includes, wp-admin индексируются Яндексом.

murvuz добавил 09.06.2009 в 01:06

Другие ПС нормально сожрут такой роботс. ПС не поддерживающие Host просто его проигнорируют.

Если вопрос "Сожрет или нет?"

100% проигнорируют и сожрут. Боты(роботы) умные и такие мелочи прощают.

Если речь о синтаксисе, то - однозначно неверно! Что и требовалось доказать.

murvuz
На сайте с 14.06.2007
Offline
191
#15
MegaSEOkg:
НАОБОРОТ:


Интересные рассуждения получаются...

Это Вы подредактировали? Просто прямо в цитате лучше не редактируйте - вводите в заблуждение.

Сделайте, как я Вам написал на первой странице.

[Удален]
#16
MegaSEOkg:
НАОБОРОТ:

Интересные рассуждения получаются...

Вообще бред. Ещё раз прочитай весь топик...

murvuz
На сайте с 14.06.2007
Offline
191
#17
Kimochi:
Если вопрос "Сожрет или нет?"
100% проигнорируют и сожрут. Боты(роботы) умные и такие мелочи прощают.

Если речь о синтаксисе, то - однозначно неверно! Что и требовалось доказать.

Что Вы мне доказали?🙄 Что-то я не заметил Ваших замечаний по поводу роботса ТСа, который был неправильно составлен. ТСу на первой странице я написал 100% работающий роботс. Вы привели неправильные примеры по поставленной задаче.

Если у Вас мания буквоедства, то роботс должен выглядеть так:


User-agent: *
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/

User-Agent: Yandex
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/
Host: seo.kg
MS
На сайте с 08.02.2009
Offline
89
#18
Kimochi:
Ещё раз прочитай весь топик и все станет на свои места...

У меня и так всё на своих местах. Как я изначально думал, так все и подтвердилось, ответами других лиц. Просто мне было интересно, кто всё таки из нас прав.

murvuz
На сайте с 14.06.2007
Offline
191
#19
MegaSEOkg:
У меня и так всё на своих местах.

Что-то я не вижу это по Вашему роботсу :)

[Удален]
#20
murvuz:
Что Вы мне доказали?🙄 Что-то я не заметил Ваших замечаний по поводу роботса ТСа, который был неправильно составлен. ТСу на первой странице я написал 100% работающий роботс. Вы привели неправильные примеры по поставленной задаче.
Если у Вас мания буквоедства, то роботс должен выглядеть так:

User-agent: *
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/

User-Agent: Yandex
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/
Host: seo.kg

теперь так?

читайте порядок выполнения команд в файле robots.

У меня и так всё на своих местах. Как я изначально думал, так все и подтвердилось, ответами других лиц. Просто мне было интересно, кто всё таки из нас прав.

весело с вами ребята :D

Учите синтаксис роботса, хотя... Вот эти 2 строчки:

User-agent: *
Disallow:

Вам в помощь)

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий