robots.txt

103

-scream-

1 апреля 2009, 22:59

809

Суть в следующем - для одной странички на сайте требуется запретить индексацию всеми поисковыми системами и другими нехорошими роботами, кроме Яндекса. Помогите пожалуйста грамотно составить robots.txt. Весь остальной сайт должен быть открыт для всех.:rolleyes:

TO

170

t_o_x_a

1 апреля 2009, 23:19

#1

User-agent: *

Disallow: page.html

User-Agent: Yandex

Allow: page.html

Я бы вот так сделал.

[Удален]

2 апреля 2009, 01:24

#2

-scream-:
запретить индексацию всеми поисковыми системами и другими нехорошими роботами, кроме Яндекса

-scream-, А расскажите для чего такие меры (просто ради интереса).

Никак не могу понять, что нужно спрятать от, например, Google и оставить видимым для Yandex.

t_o_x_a вам всё верно объяснил, кстати :)

R

117

rokos

2 апреля 2009, 01:41

#3

t_o_x_a:
User-agent: *
Disallow: page.html

User-Agent: Yandex
Allow: page.html

Я бы вот так сделал.

лучше сначала блок для Яндекса, а потом для остальных роботов. Правила обрабатываются последовательно.

85

Svonik

2 апреля 2009, 01:58

#4

-scream-:
Суть в следующем - для одной странички на сайте требуется запретить индексацию всеми поисковыми системами и другими нехорошими роботами, кроме Яндекса. Помогите пожалуйста грамотно составить robots.txt. Весь остальной сайт должен быть открыт для всех.🙄

t_o_x_a:
User-agent: *
Disallow: page.html

User-Agent: Yandex
Allow: page.html

Я бы вот так сделал.

Мммм... А зачем Allow: page.html ?? Роботс всё же существует ,что бы запрещать ,а не разрешать.

ТС Вам достаточно будет

User-agent: *

Disallow: /page.html

User-agent: Yandex

Disallow:

Host: host.ru

TO

170

t_o_x_a

2 апреля 2009, 20:17

#5

Svonik:
Мммм... А зачем Allow: page.html ?? Роботс всё же существует ,что бы запрещать ,а не разрешать.

ТС Вам достаточно будет

User-agent: *
Disallow: /page.html

User-agent: Yandex
Disallow:
Host: host.ru

По-моему, если запретил всем, то Яндексу тоже запретил. С фига ли тогда он будет индексировать страницу, если ее не разрешить заново?

189

Shivana

2 апреля 2009, 20:18

#6

t_o_x_a:
Allow: page.html

Нет такой команды: Allow

Этикет ( https://vk.com/culture_etiquette ), Сагитыч ( https://vk.com/sagittich )

TO

170

t_o_x_a

2 апреля 2009, 20:24

#7

Shivana:
Нет такой команды: Allow

Точно, я был неправ. ТС, признаю свою ошибку в моем совете. :)

http://robotstxt.org.ru/RobotstxtErrors - вот тут подтверждение, в самом низу.

Svonik показал верный вариант.

Векжививекучись :)

81

sanhes

2 апреля 2009, 20:33

#8

Яндекс учитывает директиву Allow:

http://help.yandex.ru/webmaster/?id=996567

Куплю вечные ссылки ЯК/Эротика.

TO

170

t_o_x_a

2 апреля 2009, 20:36

#9

Блин, тогда я вообще запутался. Но Яндекс более авторитетный источник, значит, есть такая директива.

Может, кто разъяснит? :)

81

sanhes

2 апреля 2009, 20:51

#10

t_o_x_a:
Блин, тогда я вообще запутался. Но Яндекс более авторитетный источник, значит, есть такая директива.

Может, кто разъяснит? :)

Данная деректива учитывается не всеми роботами ПС.

P.S. Гуглом также учитывается

http://www.google.ru/support/webmasters/bin/answer.py?answer=40364&ctx=sibling

Маркетинг для шоколадной фабрики. На 34% выше средний чек

Google: E-E-A-T не является фактором ранжирования