- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Неужели YML-данные для Яндекс.Маркета собираются клиентом Wget? :eek: :eek: :eek:
Каждые 30 минут наблюдаю в логах:
213.180.193.108 - - [28/Nov/2006:11:25:52 +0300] "GET /yml.php HTTP/1.0" 200 79959 "-" "Wget/1.9.1"
213.180.193.108, судя по whois, относится к сети Яндекса, так что это не самодеятельность.
Во до чего у них техника дошла! Обозвались хотя бы YaGet =_)))))
BTW я недолюбливаю, по-жизни, посетителей с клиентом "Wget", с ними борюсь и стараюсь занести в черный список. ;)
P.S.: даже на памяти пара "червей", которые сканировали эксплоиты этой дрянью.
HoSStiA, Wget - это еще и одна из библиотек перла..... =)
А использование таких вещей, как и sendmail - почти букварные правила.
wget - это отличная программа (которая кстати умеет подделывать любого user-agent'а, так что банить её особо смысла нет)! все прочие качалки отдыхают
пользуюсь ей и под win и под nix :)
HoSStiA, Wget - это еще и одна из библиотек перла..... =)
А использование таких вещей, как и sendmail - почти букварные правила.
А Яндекс - солидная фирма. И, когда речь идет о доступе к относительно закрытой коммерческой информации, можно было бы самоидентифицироваться не грабберо-подобным клиентом. :-P Переопределить User-Agent, например.
wget - это отличная программа (которая кстати умеет подделывать любого user-agent'а, так что банить её особо смысла нет)!
Когда начинают рекурсивно сдирать сайт - обязательно забаню 🍾 Даже если клиент - Mozilla.
ЗЫ: хорошо, что у Perl нет стандартной библиотеки Teleport Pro =)
А Яндекс - солидная фирма. И, когда речь идет о доступе к относительно закрытой коммерческой информации, можно было бы самоидентифицироваться не грабберо-подобным клиентом. :-P Переопределить User-Agent, например.
OFF конечно, но какраз из-за солидности они и считают, что если запрос с их IP, то неважно что там и как запрашивается. Есть ощущение, что Вам нравится что-то банить. =)) Вы с яшей в этом очень похожи.
Если серьезно, к своим проектам, просеиваю частоты и интенсивность запросов + прокси и куки, а не имя агента и т.д.
OFF конечно, но какраз из-за солидности они и считают, что если запрос с их IP, то неважно что там и как запрашивается.
Это мания величия =)))
Есть ощущение, что Вам нравится что-то банить. =)) Вы с яшей в этом очень похожи.
Неее, я просто не люблю, когда меня мониторят и парсят посторонние личности ;)
Если серьезно, к своим проектам, просеиваю частоты и интенсивность запросов + прокси и куки, а не имя агента и т.д.
Смотрел для интереса, не приходил ли assessor.yandex.ru и прочие типы из этой ветки:
/ru/forum/96393