- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть сайт с большим количеством субдоменов. В последние несколько дней наблюдаю прямо атаку роботов часть из подсетей yandex.net, corbina.ru, mtu.ru. Роботы не представляются по userAgent, зато с реферером http://www.yandex.ru/yandsearch?stype=&nl=0&text=запрос. Запросы разные. Кроме этого роботы похоже выкачивают не только сайт но и счетчики, т.к. есть всплеск посещаемости по счетчикам. Веселее всего, то что LI забанили, вроде как за накрутку, сказали что мы имитируем запросы, как если бы мы разместили счетчик на yandex. Если бы не запросы из подсетей yandex.net, то точно решил бы что происки нехороших людей. В Яндекс уже написал. Кто-то сталкивался?
... Если бы не запросы из подсетей yandex.net, то точно решил бы что происки нехороших людей. В Яндекс уже написал. Кто-то сталкивался?
первый раз такое слышу... чтобы яндекс через другие сети ботов направлял... и чтобы боты от яндекса шли без опознавательных знаков на борту...
Нынче яндекс долго отвечает - возможно ждать две недели придется...
А обычные то боты яндекса продолжают ходить?
Да обычные ходят как и раньше с нормальным User-Agent. Причем запросы идут где-то с 20-30 IP со временем обновляются, единственное общее это Referer, с одного IP по 5000-10000 запросов за сутки проходило. Начали банить, в результате закрыли подсеть corbina, затем пришлось закрыть несколько роботов с обратным DNS yandex.net, например dawei.yandex.net, shatin.yandex.net уж очень резво они работали. При этом странно что робот не представляется как должно быть согласно FAQ в Яндекс "Все роботы Яндекса представляются с помощью user-agent, перечисленных в пункте 5".
В последние несколько дней наблюдаю прямо атаку роботов часть из подсетей yandex.net, corbina.ru, mtu.ru.
Знакомо. Задавал вопрос в Яндексе, ответ был такой - да это наши рабочие боты. Сколько не пытался выяснить у них, что это за боты, ответа не последовало. Я так понимаю, что это проверка на клоакинг, но это моё личное мнение. По истечению месяца эти боты перестали беспокоить.
Да, совсем забыл, в ответе была ещё одна фраза - "если роботы перегружают ваш сервер, сообщите нам об этом и пришлите логи".
хитробот
У меня сегодня такая же бадяга была...я аж со стула подскочил, когда увидел, что на одну и ту же страницу по нч запросу пришло народу больше в 12 раз, чем в вордстате по этому запросу за месяц указано...