Как писал fire42 Я правильно понял?
Вы бы занялись cloaking'ом для того, что бы проиндексировать одну определённую картинку вместо всех, в том случае когда было необходимо установать бесприпядственный досуп "P" робота ко всем картинкам? Поворот...
Нужную картинку - это может быть ведь все что угодно, правильно? Хотите ставьте роботу 1метровый тиф, хотите 50килограмовый джипег. Я не говорил, о том что нужно ставить определённую картинку вместо всех. Или Вам нужно все разжевывать до состояния пыли?
Как писал fire42 И что же мы получили?
Мы нашли всех роботов по кол-ву конекций, и забанили.....
Теперь мы в десятке!
Если до того как мы начинаем банить всё что похоже на робота , выдёрнем из общей стаи тех роботов которые банить не стоит,
то получится довольно внушительный список User-Agent'ов, который
к слову и составить то довольно сложная задача.
В данной ситуации я думаю проще запрещать кого-то определённого,
чем запретить всех с исключениями.
Вы видимо плохо знакомы с поведением нормальных роботов. Поведение нормальных роботов резко отличается от поведения даунлоад-менеджеров, которые качают НЕПРЕРЫВНО и МНОГО. И если у Вас скачали 100 страниц за 100 секунд - это уже аномалия, т.е. признак того, что СКОРЕЕ ВСЕГО - это даунлоад-менеджер. Далее. "Банить" в вашем контексте - это подсунуть 1пиксельный гиф, а не то что Вы подумали (буду кавычить в следующий раз). Речь не идет об изменении хтмл-кода.
Как писал fire42 ИМХО если и первое и второе, то кол-во нормальных посетителей начнёт резко уменьшатся
Если у кого-то уменьшается - значит у кого-то другого растет :D
1) выделил бы ip всех известных картиночных роботов и им бы подсовывал нужную картинку
2) всех остальных даунлоад-менеджеров можно определять эмпирически. Т.е. например ввести такой параметр как число скачек в ед.времени. По идее робот делает запросы в ед.времени чаще чем человек, чем собст-но и перегружает сервер. И тех агентов, которые делают запросы чаще чем n в m единиц времени - посылал бы подальше: определял ip и банил :D
3) если не первое и не второе - значит нормальный посетитель
А по юзер-агенту очень просто все решается - в Телепорте можно любое значение проставить + отключить следование инструкциям robots.txt. Можно и выставить время паузы между запросами, но кто догадается?
Впрочем, если ничего не путаю, существуют сервисы, выдающие партнёрки "напрокат".
Они скорее всего через себя работают, то есть ссылка на сайте партнера ставится не прямая, а через редирект сервиса. Что конечно снижает до нуля ценность такой партнерской программы как средства продвижения.
Дело в том, что пока не вижу смысла делать навороченную парнерку. Товар штучный, покупки тоже. Партнеров немного будет. Т.е. чисто инструмент расчетов с партнерами, которые ее и просят, а не система анализа траффика и не МЛМ или чего-то еще. Поэтому и вопрос такой.
Телепорт - тот же паук, только не для благих целей индексирования ☝
Кстати, на этом форуме кто-то жаловался, что Яндекс покупки совершает
Не Яндекс только, а Гугл - зашел в закрытую формой область подтверждения заказа. Как выяснили вместе с участниками форума, это он из бара выдернул ссылку, гад, чем и ввел меня в заблуждение :D
А покупатель потом реальный объявился - покупает даже... вроде :2cents:
В данном случае имхо имеет смысл его вообще не трогать,
наоборот оберегая от всяческих органичений.
Уже лучше :)
существуют ли у кого-нибудь какие-либо цифры по этому вопросу?
Эмпирически. Цифр таких ни у кого нет конечно. Даже у меня :) Нужно лезть в логи, смотреть и сравнивать.
На самом деле я бы подсунул html с объяснением закрытия доступа.
Зачем? ХТМЛ-код лучше не трогать.
Вот мы и приделали Ломоносовский закон "о сохранении.." к трафику с Яндекса вот оно влияние профессии
Профессия у меня другая, а закон что дышло :D
Я правильно понял?
Вы бы занялись cloaking'ом для того, что бы проиндексировать одну определённую картинку вместо всех, в том случае когда было необходимо установать бесприпядственный досуп "P" робота ко всем картинкам? Поворот...
Нужную картинку - это может быть ведь все что угодно, правильно? Хотите ставьте роботу 1метровый тиф, хотите 50килограмовый джипег. Я не говорил, о том что нужно ставить определённую картинку вместо всех. Или Вам нужно все разжевывать до состояния пыли?
И что же мы получили?
Мы нашли всех роботов по кол-ву конекций, и забанили.....
Теперь мы в десятке!
Если до того как мы начинаем банить всё что похоже на робота , выдёрнем из общей стаи тех роботов которые банить не стоит,
то получится довольно внушительный список User-Agent'ов, который
к слову и составить то довольно сложная задача.
В данной ситуации я думаю проще запрещать кого-то определённого,
чем запретить всех с исключениями.
Вы видимо плохо знакомы с поведением нормальных роботов. Поведение нормальных роботов резко отличается от поведения даунлоад-менеджеров, которые качают НЕПРЕРЫВНО и МНОГО. И если у Вас скачали 100 страниц за 100 секунд - это уже аномалия, т.е. признак того, что СКОРЕЕ ВСЕГО - это даунлоад-менеджер. Далее. "Банить" в вашем контексте - это подсунуть 1пиксельный гиф, а не то что Вы подумали (буду кавычить в следующий раз). Речь не идет об изменении хтмл-кода.
ИМХО если и первое и второе, то кол-во нормальных посетителей начнёт резко уменьшатся
Если у кого-то уменьшается - значит у кого-то другого растет :D
Могу проконсультровать по поводу технологии безбанного клоакинга.
Я бы поступил так:
1) выделил бы ip всех известных картиночных роботов и им бы подсовывал нужную картинку
2) всех остальных даунлоад-менеджеров можно определять эмпирически. Т.е. например ввести такой параметр как число скачек в ед.времени. По идее робот делает запросы в ед.времени чаще чем человек, чем собст-но и перегружает сервер. И тех агентов, которые делают запросы чаще чем n в m единиц времени - посылал бы подальше: определял ip и банил :D
3) если не первое и не второе - значит нормальный посетитель
А по юзер-агенту очень просто все решается - в Телепорте можно любое значение проставить + отключить следование инструкциям robots.txt. Можно и выставить время паузы между запросами, но кто догадается?
Предлагаю, называть это Дятел.ru :D
Они скорее всего через себя работают, то есть ссылка на сайте партнера ставится не прямая, а через редирект сервиса. Что конечно снижает до нуля ценность такой партнерской программы как средства продвижения.
Эта пирамида скоро рухнет.
Дело в том, что пока не вижу смысла делать навороченную парнерку. Товар штучный, покупки тоже. Партнеров немного будет. Т.е. чисто инструмент расчетов с партнерами, которые ее и просят, а не система анализа траффика и не МЛМ или чего-то еще. Поэтому и вопрос такой.
Телепорт - тот же паук, только не для благих целей индексирования ☝
Не Яндекс только, а Гугл - зашел в закрытую формой область подтверждения заказа. Как выяснили вместе с участниками форума, это он из бара выдернул ссылку, гад, чем и ввел меня в заблуждение :D
А покупатель потом реальный объявился - покупает даже... вроде :2cents:
Да, собрал такую базу, думаю кому впарить. Тебе случайно не нужна? Недорого отдам ;)