Форум Сайтостроение Администрирование серверов

Другой robots.txt для определённой группы IP адресов

Maxiz
На сайте с 04.01.2008
Offline
208
Maxiz
534

Web сервер: Unix + Apache на стандартном shared хостинге

Провожу некоторые эксперименты над сайтом, и хотелось бы спросить вот что:

Можно ли для определённой группы IP адресов выдавать другой robots.txt нежели чем для всех остальных IP?

Как то может на уровне сервера с помощью htaccess или PHP ?

C
На сайте с 26.10.2013
Offline
54
colorito
#1

Направляйте robots.txt на robots.php через .htaccess

Там уже, в зависимости от IP, отдавайте нужные данные.

RewriteRule ^(robots\.txt)$ robots.php [L]

В robots.php

$ip = $_SERVER['REMOTE_ADDR'];
if ($ip == '123.456.123.456') { echo 'Robots 1'; } else { echo 'Robots 2'; }
Услуги по парсингу данных (/ru/forum/939826), единоразовый и регулярный сбор данных. Любые объемы. Скрипты на PHP, создание и доработка, решение проблем с сайтами Пишите в личные сообщения или скайп
[umka]
На сайте с 25.05.2008
Offline
456
[umka]
#2

Через .htaccess примерно так.

Для адресов, начинающихся с 123.45.67. или 111.22.33. или 222.33.44.

RewriteEngine on

RewriteCond %{REMOTE_ADDR} ^123\.45\.67\. [OR]

RewriteCond %{REMOTE_ADDR} ^111\.22\.33\. [OR]

RewriteCond %{REMOTE_ADDR} ^222\.33\.44\.

RewriteRule ^robots\.txt$ another_robots.txt [L]

Лог в помощь!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий