Бот, YandexSomething, бан доров.

GrOm! · 2009-09-17T18:46:35.0000000Z

Приветствую. В дорвеях, я можно сказать новичек, но некоторый опыт имеется. Сегодняшний АП принес некоторые неприятные для меня известия, которые я хотел бы обсудить с более опытными дорвейщиками. Итак, после сегодняшнего апа несколько новых доров (еще не успели попасть в индекс) попало в бан (адурилка говорит, что сайт запрещен к индексации). На одном доре увеличелось количество страниц в индексе. На всех забаненых дорах стояла прямая ссылка на тдс-ку. На том доре который из индекс не выпал - ссылка стоит через яваскрипт. Вопрос №1, который я задал сам себе - палит ли яндекс прямую ссылку на тдс-ку, редирект с нее? Проанализировав логи веб-сервера обнаружил из интересного вот такого бота: 77.88.58.241 - - [01/Sep/2009:07:19:42 -0500] "GET /tds.php?id=x HTTP/1.1" 302 - "-" "YandexSomething/1.0" 77.88.58.241 - - [01/Sep/2009:12:27:17 -0500] "GET /tds.php?id=x HTTP/1.1" 302 - "-" "YandexSomething/1.0" Погуглив ходит информация, что это "индексирующий новостные потоки партнеров Яндекс-Новостей". Как видим - это не совсем так. Т.к. моя тдс-ка не является новостным потоком =). Возможно что так яндексоиды обозначают группу ботов, предназначение которых разнообразно (даже название намекает - Яндекс.Что-то) =). Ходил он через тдс-ку за 2 недели примерно 300 раз. И что еще интересно, этот же бот (YandexSomething и с этим же айпишником) заходил на 2 сайта на который льется траф с тдс-ки. Конечно это может быть совпадением, поэтому спрашиваю - замечал ли кто-то что-то подобное за этим ботом? Что интересно, этот же YandexSomething отметился на некоторых дорах которые вылетели, а на некоторых - нет. На том доре который в индексе - тоже он был. В общем одни вопросы =). GrOm! добавил 17.09.2009 в 23:01 Вот еще нашел про этот бот: http://habrahabr.ru/blogs/yandex/62731/ Смысл: 4. User-Agent отдавался «YandexSomething» и это наша вина. Это был не новостной, а один из поисковых роботов, у которого мы забыли изменить дефолтное представление. Ошибку исправили, спасибо, робота поставили в угол. Конкретно что за поисковый бот - не сообщается. Возможно в моей ситуации у хитробота юзерагент отвалился или еще у какого-то нестандартного бота.

E2

138

exe2

18 сентября 2009, 18:54

#11

GrOm!, тдска что в роботсах не закрыта была?

да и что тут страшного, боты всегда гуляют по ссылкам

И думаете это кто-то остановит? Да ну нафиг! Кто позволит перекрыть такой серьезный трафик??

GO

43

GrOm!

18 сентября 2009, 19:03

#12

exe2:
GrOm!, тдска что в роботсах не закрыта была?
да и что тут страшного, боты всегда гуляют по ссылкам

нет, только ссылка была обрамлена тэгами noindex.

Я не говорю что здесь что-то страшное, просто наблюдения.

WebII Lab (http://webii.ru/) Короткий урл (http://py6.ru/) Обои (http://b000.ru/)

DG

18

DrGnom

23 сентября 2009, 06:03

#13

Простите нуба. Не совсем понял:

exe2:
GrOm!, тдска что в роботсах не закрыта была?

Здесь имеется ввиду robots.txt в корневике ТДСки? Так у меня он есть:

robots.txt
User-agent: *
Disallow: /

Или говорится о каком-то хитром способе через robots.txt сайта-дора закрыть переход на сайт-ТДСку??

E2

138

exe2

23 сентября 2009, 08:59

#14

DrGnom, у меня просто ссылка на тдс стоит через редик, типа go.php и я её закрываю.

да и саму тдс тоже закрываю нах

Все что нужно знать о DDоS-атаках грамотному менеджеру

VK приобрела 70% в структуре компании-разработчика red_mad_robot