Можно ли определить кто запрашивает фаил/скрипт: поисковый робот или посетитель!?

Анализируйте логи

Не. не вообще, а при выполнении скажем скрипта. Я тут в форме порыл примерно выяснил: user_agent и ip. Ток теперь другой вопрос: вот народ пишет что посиковики под браузеры маскируются и.т.д. А как же тогда robots.txt? Ведь там правила для определнный user_agent'ов пишутся! А если поисковик передал что он браузер то как дальше?

Сам то понял, что спросил ? ;)

wDevil, почитайте статьи и раздел форума про клоакинг. Это как раз оно. Кроме User-Agent есть IP-адрес. Имея базу данных IP-адресов роботов можно с большей вероятностью определить, кто пришел. Можно привлекать и косвенные сведения, например заход на документы, закрытые через robots.txt.

Собираетесь показывать людям одно, а роботам - другое? Будьте осторожны!

Вообщем система такая: есть правило мод реврайт, оно все ссылки на сайте вида: www.example.ru/trace.php?html=index.html переделывает в

www.example.ru/index.html. При етом фаил index.html существует. Просто он сначала обрабатывается скриптом а потом отдается посетителю. Т.е если отсеивать посетительей по user_agent таким образом: если робот, то отправлять без мод реврайта на Index.html если человек, то выдавть обработанную страницу скрптом. И в том и в этом случае ссылка одна и таже:www.example.ru/index.html, разное ток содержание, т.е одна оптимизирована другая нет. Дело в том что я не совсем понимаю механизм того как паук заходит на сайт, то ли он сразу заходит с user_agent=имя поисковика, потом по каким то причинам или для пробы под браузером, то ли сразу под браузер маскируется.

А давайте введем новый раздел: "Спаммерам посвящается" :)

Бред. Что ему - делать нечего, только на Ваш сайт под разными user_agentами заходить 😂

Miha Kuzmin, а при чем здесь спам?

Дословно:

А что это по вашему ? :)

-только если этого захочет владелец скрипта. В общем случае нет.