Своеобразный скрипт каталога ссылок....

Это называется клоакинг и за это банят

Я понимаю что это черные методы, просто на самом деле таких сайтов около 10-15 и везде ссылки не проиндексированы..

Вот хотелось разобраться...

Меня сейчас больше интересует такой вопрос как это реализовано..

Я смотрю на код страницы он чистый никаких запретов..

скажу на вскидку.... там 3-4 строчки кода ПХП и в .htaccess куча IP ПС к запрету на просмотр каталога.

Проверьте сама страница с этими ссылками проиндексирована, а то может её в индексе нет вот и весь секрет

Страница проиндексирована, в сохраненной копии которую показывает Яндекс моих ссылок нет

forcekir добавил 29.11.2008 в 21:54

как определить что этот вебмастер использует такой метод?

Читайте сначала

$USER_AGENT=$_SERVER[HTTP_USER_AGENT];

if (stristr($url, 'yandex')) {show='no';}

elseif (stristr($url, 'Yahoo')) {show='no';}

elseif (stristr($url, 'googlebot')) {show='no';}

А в месте где должны отображаться ссылки такой код

if(show!='no) {echo 'Ссылка 1 и т.п.';}

в топку. Боты ходят и не представляются. А ещё, никто не знает все IP ботов ПС , поэтому и БАНят за этот метод.

LEOnidUKG,

Юзер агент

Yahoo - Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

Goggle - Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

MSN - msnbot/1.1 (+http://search.msn.com/msnbot.htm)

Yandex - Yandex/1.01.001 (compatible; Win16; I)

И т.п.

Проверка идет не по IP а по наличию Googlebot, msnbot, Yandex и т.п. в считанном Юзер-агенте.

Таким образом я писал для сайтов своих счетчик посещения ботами, в задачи ТС аналагочно, только разная отдача контента.

:D Читаем мой пост выше и ещё раз, медленно и внятно. Особенно уделяем внимание предложению:

А то что ваш скрипт отлавливает, эт обычные боты для индекса, для бана и т.п. другие ходят.

Да я и имел ввиду индексирующих ботов, а обычные или необычные боты это все народная мудрость ))))