Как поисковые роботы находят PHP скрипты?

Закройте к ним доступ в htaccess

Бред и первый пост (нет ссылок - не лезут), и второй - кому закрыть, ботам?)))

Вот жеж советчики :) Тогда и программа, которой юзеры пользуются не сможет коннектиться к скриптам.

Да ну?

В скриптах, которые обслуживают программу, я веду мониторинг, какие пакеты, User Agent, IP ломится. Все левое, что не от программы, автоматом летит мне на анализ.

Левые коннекты всегда нулевые, без данных. Можно предположить, что ушлые юзеры программы, сниффят куда коннектится программа и пытаются по этому адресу через браузер зайти. Но я беру IP левых коннектов и ищу их в логах легальных коннектов, и их там не нахожу.

IP левых коннектов я вообще нигде не нахожу, даже в логах посещений веб-сайта. То есть это нелюди. Боты. Которые вообще к посетителям моего сайта или пользователям программы отношения не имеют.

Есть предположение, что логи легальных коннектов программы к скриптам где-то лежат на транзитных узлах интернета, и через них боты находят мои скрипты. Как-то так. А иначе как? Ведь чудес не бывает.

И IP эти, не уникальные, я их могу стабильно наблюдать в логах на протяжении многих месяцев, полугодий и тд. например долбят ровно раз в месяц. Это боты.

Вот как пример:

159.203.81.93

Mozilla/5.0 (Windows NT 6.1; WOW64; rv:33.0) Gecko/20100101 Firefox/33.0

Долбил:

26-12-2016

26-01-2017

25-02-2017

24-03-2017

Ну и откуда этой твари знать о моем скрипте?

А, все, то есть клиент, который лезет к серверу. Я то думал реальная проблема, типа как-то боты видят внутренние пыхыпы-скрипты, что на сервере. А тут банальная прога, которую естественно сразу по полочкам разложат и начнут насиловать...

p.s. и причем тут оптимизация?

может адрес скрипта спалился в сети в лог-файлах каких-то снифферов или антималварных программ...

на форумах по удалению вирей народ же выкладывает логи со своих компов

а по ссылке в виде текста бот пройдет легко

лил админы сеток корпоративных отсеивают подозрительный трафф, видят Ваши скрипты и тоже их пробивают на предмет подозрительного

думаю что-то из подобных вариантов вполне жизненно

Да, это боты, но боты не поисковые, у поисковых UserAgent соответствующий, и они не маскируются под браузерный UserAgent.

Вот для чего этим ботам долбить мой скрипт стабильно раз в месяц, как в примере, который я привел? Есть мнение, что это ушлые хакеры так мониторят - а не упал ли сервер, и не доступен ли скрипт для скачивания.

Запретить всем, кроме определенного IP.

Или я чего то не понимаю?

Не рубишь фишку, потому что маленький еще. Программу покупают все кому не лень.

Miha Kuzmin (KMY), бывает такой косяк в некоторых случаях, адрес php скрипта скармливает роботу сам сайт, например этим очень любит делать модуль битрикса отвечающего за создание xml карты сайта ;)

burunduk, ну он совсем не про то...