помогите, сведущие люди добрые, с роботом проклятым совладать!

[Удален]
584

Вопрос такого плана.

Что вписать в роботс.текст, чтоб никакие тексты с сайта в целом вообще не индексировались никакими поисковиками? В идеале - чтоб они вообще не шастали на домен? :eek:

texter
На сайте с 06.01.2007
Offline
166
#1

А они многие не слушаются robots.txt

Если человек может зайти на сайт и прочитать тексты, значит и робот сможет.

Пободробней бы объяснили ваши цели...

Слава Шевцов
На сайте с 23.07.2005
Offline
370
#2
spermint:
Вопрос такого плана.
Что вписать в роботс.текст, чтоб никакие тексты с сайта в целом вообще не индексировались никакими поисковиками? В идеале - чтоб они вообще не шастали на домен?

Используйте такую конструкцию:

запрещает всем роботам индексировать весь сайт:

User-agent: *
Disallow: /
Неизменность точки зрения неизменно порождает иллюзию понимания.
[Удален]
#3

texter, при директиве, описанной Шевцовым, поисковики не залезут. Ну а всякая гадость мелкая, я так понял, ТС не интересует.

[Удален]
#4
texter:
А они многие не слушаются robots.txt
Если человек может зайти на сайт и прочитать тексты, значит и робот сможет.
Пободробней бы объяснили ваши цели...

Цели несложные - не дать контенту потерять уникальность на других, клиентских, ресурсах. То есть я в портфолио по несколько предложений кладу, но не хочу нанести ущебра заказчикам. Кладу, естественно, с предварительной договореностью ):

zzeus
На сайте с 04.01.2008
Offline
74
#5
spermint:
Цели несложные - не дать контенту потерять уникальность на других, клиентских, ресурсах. То есть я в портфолио по несколько предложений кладу, но не хочу нанести ущебра заказчикам. Кладу, естественно, с предварительной договореностью ):

<noindex></noidex>

[Удален]
#6

Даже поставлю вопрос иначе - как можно исключить из индексации весь контент, неважно чем, кроме картиночного отображения текста?

spermint добавил 18.03.2008 в 02:24

zzeus:
<noindex></noidex>

Помнится мне, что против Гугла это не действует, там нужен NOFOLLOW ?

Слава Шевцов
На сайте с 23.07.2005
Offline
370
#7
spermint:
Даже поставлю вопрос иначе - как можно исключить из индексации весь контент, неважно чем, кроме картиночного отображения текста?

Подгружайте текст через AJAX. Он не индексируется. Или через iframe, который создаётся JavaScript ;)

AN
На сайте с 05.06.2004
Offline
243
#8

Ну если

User-agent: *

Disallow: /

или

User-agent: *

Disallow: /нужная_папка

вам так уж не нравится, то поставьте на странички метатег

<meta name="robots" content="noindex, follow">

(можно кстати его поставить как раз в IFrame, см. постом выше)

Размещу ваши баннеры на посещаемых сайтах. Места еще есть! Возможен безнал. (/ru/forum/324945) Нужны копирайтеры/рерайтеры - медики. Пишите в личку. (/ru/forum/676932)
UB
На сайте с 22.07.2007
Offline
133
#9

выставляйте текст картинкой :)

[Удален]
#10

Тут мне кажется, не только от индекса защищать надо, но и от копирования (а вдруг?). js покатит.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий