Как сделать один Robots?

427

siv1987

8 мая 2013, 21:52

#11

SuRS:
Мне нужно было, чтобы роботы не индексировали нужный домен. Решение нашел.

RewriteRule ^robots\.txt$ robots.php [L]

robots.php


$host  = str_replace('www.', '', $_SERVER['HTTP_HOST']);

$rname = "robots_{$host}.txt";

if(file_exists($rname))

{

	include($rname);

}

robots_domen1.txt

robots_domen2.txt

robots_domenN.txt

505

6666

8 мая 2013, 21:56

#12

SuRS:
Решение нашел.

А валидатор роботса от Яндекса попробуйте (в вебмастере), любопытно что он скажет.

Каждое мое сообщение проверила и одобрила Елена Летучая. (c) Для меня очень важно все что Вы говорите! (http://surrealism.ru/123.mp3) .

SR

104

SuRS

8 мая 2013, 22:12

#13

6666:
А валидатор роботса от Яндекса попробуйте (в вебмастере), любопытно что он скажет.

Спокойно хавает роботс :)

1

Даже самый долгий путь начинается с первого шага. Не бойся начать.

149

ancifer2002

14 мая 2013, 20:21

#14

Помогите, ну позязя! Как срастить два роботса и зачем индексировать РСС-ленту? Может её тоже в дисаллов отправить?

505

6666

14 мая 2013, 20:48

#15

ancifer2002, ну ответили же уже. Второй раз надо то же самое?

427

siv1987

14 мая 2013, 22:15

#16

ancifer2002, раздвоение чтоли? Сами же себе ответили /ru/forum/comment/11735084

ancifer2002:
и зачем индексировать РСС-ленту

А зачем ее не индексировать?