T.R.O.N: Яша уже давно блокирует доступ через прокси. Я Вам могу написать, думаю с десяток, параметров, которые Вы просто не сможете скрыть он "сетевого инспектора" на серверах яши. Эти параметры однозначно укажут на Вас.
Не поленитесь, поставьте снифер на свой сайт, и пообращаейтесь к сайту со своих скриптов. почерпнете много интереного.
С сайта вообще не реально от многого спрятаться, это и ежу понятно. Я не только с сайта юзаю, я с локальных машин в основном хожу, никакой инспектор никогда ничего не сможет определить с локальной машины.
T.R.O.N: XPraptor,
для начала, а почему они должны это определять как бот?
Запрос же создается как пользовательский.
Яша не говорит о роботах, он говорит бо автоматической обработке результатов. Именно в этом разница. Ваш скрипт, как и любой другой, можно определить.
Кроме идов сесии и куков, можно еще следить за МАК адресами и за маскарадингом.
В вашем случае, по отношению к Яше, могу сказать следующее. Вы не вышли за отведенный Вам лимит.
А как я могу выйти за отведенный лимит, если пользователь смотрит постоянно кучу результатов по страницам, но ему в лицензии не запрещено этого делать. За что закрыть пользователя? За то, что он активный очень и приносит яше деньги в виде просмоторщика рекламы на которой они зарабатывают?
Мои скрипты и локальные проги которые работают с нетом умеют генерить движение мыши по странице, нажатие клавиш, распознование OCR картинок защиты, сессии, считать суммы цифр на картинках и не на картинках, куки, разное время задержки как у юзера, отвечать на ява окна, прикидываться последними версиями Opera, Firefox, IE, может заюзать около 100 элитных проксей и около 4000 прозрачных, и всё, что может сделать браузер сделает и мой бот.
А чем тебя улыбнуло? Сейчас вот на форум я пишу ответы через мой скрипт который одновременно 1000 форумов пасет и ни один из форумов никогда не определит что это бот.
Разработчик: Рааскажите нам, кому и зачем нужно 3-4 кило запросов в день, для личных целей? Может Яндекс к Вашему мнению прислушается :D
Я же говорю, что редко беру и оптимизирую созданный один из своих сайтов, а потом мне долго не нужно ничего от них Так почему я не могу сгенерить чуть больше запросов несколько дней?
Разработчик: XPraptor, Вы нарушаете лицензию на использование Яндекса, а я нет, вот в чём главная разница.
Это понятно что нарушаю. Но мне например нужно сегодня 3000-4000 слов на вес взять или сохранить ссылки результатов поиска, а потом может я и два месяца не буду генерить запросы к ним. Так что мне теперь руками сидеть и неделю обрабатывать все это? А покупать xml запросы когда я их использую в основном в личных целях - это просто жлобство со стороны яши. Гуга такого не делает, он просто картинку вешает для подтверждения что вы не бот, но не пытается закрыть IP. Я понимаю, банить сервис круглосуточный ежедневный, который запросы генерит, но не частников же с редким пусть массовым, но редким выходом.
T.R.O.N: 1. Зависит от количества запросов.
2. Вы слишали о кешшировании результатов?
3. Он отличатеся от реальных пользователей качеством "запросов" параметрами действующих ссесий. (переходов со страниц результатов.)
Дык а зачем я стартую с реальных страниц как вы думаете? Количество могу любое делать, мои скрипты НИЧЕМ не отличить от реального пользователя, а реальному юзеру нигде не запрещено делать сколько угодно запросов, так ведь?
Разработчик: XPraptor, обращения с паузами идут. Только Вы самописные скрипты используете, которые как раз Яндекс запрещает, а я XML, которые он пропагандирует, так сказать..
Дык он зато 1000 бесплатно дает. И если ы не вылазили за пределы, то почему вас забанили? Меня же с 5000 не банят с моими скриптами.
Грамотно нужно юзать тогда и не забанят. Я тут пару скриптов откатывал на гугле и яше забыл лимит выставить так гуга мне сразу дальше 10-ой страницы запретил ходить без ввода кода с картинки. Я тюкнул себя по лбу - Семен Семеныч - поставил рандомный таймаут от 2 до 5 секунд и погнал скрипты дальше дебажить. Больше никто меня не останавливал, ни яша ни гуга. Скрипты мои стартовали с реальных окон IE а потом по сохраненным параметрам сессий и кук дальше сокетами шли, и ни какого бана больше не было, да и не за что. Потому, как они не отличались от действий реального пользователя Поэтому умно пишите скрипты и службы и будет вам счастье.
Не гоните. Яша сам определяет нужно делить домены 3-го уровня или нет. Если сайт действительно другой на третьем домене, то яша по разному тиц им посчитает. Подтверждение - два моих сайта на одном домене aon.by shop.aon.by в принципе оба моих но для яши разные и тиц им разный считает.
Яша уже давно блокирует доступ через прокси. Я Вам могу написать, думаю с десяток, параметров, которые Вы просто не сможете скрыть он "сетевого инспектора" на серверах яши. Эти параметры однозначно укажут на Вас.
Не поленитесь, поставьте снифер на свой сайт, и пообращаейтесь к сайту со своих скриптов. почерпнете много интереного.
С сайта вообще не реально от многого спрятаться, это и ежу понятно. Я не только с сайта юзаю, я с локальных машин в основном хожу, никакой инспектор никогда ничего не сможет определить с локальной машины.
XPraptor,
для начала, а почему они должны это определять как бот?
Запрос же создается как пользовательский.
Яша не говорит о роботах, он говорит бо автоматической обработке результатов. Именно в этом разница. Ваш скрипт, как и любой другой, можно определить.
Кроме идов сесии и куков, можно еще следить за МАК адресами и за маскарадингом.
В вашем случае, по отношению к Яше, могу сказать следующее. Вы не вышли за отведенный Вам лимит.
А как я могу выйти за отведенный лимит, если пользователь смотрит постоянно кучу результатов по страницам, но ему в лицензии не запрещено этого делать. За что закрыть пользователя? За то, что он активный очень и приносит яше деньги в виде просмоторщика рекламы на которой они зарабатывают?
Мои скрипты и локальные проги которые работают с нетом умеют генерить движение мыши по странице, нажатие клавиш, распознование OCR картинок защиты, сессии, считать суммы цифр на картинках и не на картинках, куки, разное время задержки как у юзера, отвечать на ява окна, прикидываться последними версиями Opera, Firefox, IE, может заюзать около 100 элитных проксей и около 4000 прозрачных, и всё, что может сделать браузер сделает и мой бот.
Улыбнуло =)
А чем тебя улыбнуло? Сейчас вот на форум я пишу ответы через мой скрипт который одновременно 1000 форумов пасет и ни один из форумов никогда не определит что это бот.
Рааскажите нам, кому и зачем нужно 3-4 кило запросов в день, для личных целей? Может Яндекс к Вашему мнению прислушается :D
Я же говорю, что редко беру и оптимизирую созданный один из своих сайтов, а потом мне долго не нужно ничего от них Так почему я не могу сгенерить чуть больше запросов несколько дней?
XPraptor, Вы нарушаете лицензию на использование Яндекса, а я нет, вот в чём главная разница.
Это понятно что нарушаю. Но мне например нужно сегодня 3000-4000 слов на вес взять или сохранить ссылки результатов поиска, а потом может я и два месяца не буду генерить запросы к ним. Так что мне теперь руками сидеть и неделю обрабатывать все это? А покупать xml запросы когда я их использую в основном в личных целях - это просто жлобство со стороны яши. Гуга такого не делает, он просто картинку вешает для подтверждения что вы не бот, но не пытается закрыть IP. Я понимаю, банить сервис круглосуточный ежедневный, который запросы генерит, но не частников же с редким пусть массовым, но редким выходом.
1. Зависит от количества запросов.
2. Вы слишали о кешшировании результатов?
3. Он отличатеся от реальных пользователей качеством "запросов" параметрами действующих ссесий. (переходов со страниц результатов.)
Дык а зачем я стартую с реальных страниц как вы думаете? Количество могу любое делать, мои скрипты НИЧЕМ не отличить от реального пользователя, а реальному юзеру нигде не запрещено делать сколько угодно запросов, так ведь?
XPraptor, обращения с паузами идут. Только Вы самописные скрипты используете, которые как раз Яндекс запрещает, а я XML, которые он пропагандирует, так сказать..
Дык он зато 1000 бесплатно дает. И если ы не вылазили за пределы, то почему вас забанили? Меня же с 5000 не банят с моими скриптами.
И чем же это он безграмотный если я его уже третий месяц без бана юзаю и все автоматом делается?
Грамотно нужно юзать тогда и не забанят. Я тут пару скриптов откатывал на гугле и яше забыл лимит выставить так гуга мне сразу дальше 10-ой страницы запретил ходить без ввода кода с картинки. Я тюкнул себя по лбу - Семен Семеныч - поставил рандомный таймаут от 2 до 5 секунд и погнал скрипты дальше дебажить. Больше никто меня не останавливал, ни яша ни гуга. Скрипты мои стартовали с реальных окон IE а потом по сохраненным параметрам сессий и кук дальше сокетами шли, и ни какого бана больше не было, да и не за что. Потому, как они не отличались от действий реального пользователя Поэтому умно пишите скрипты и службы и будет вам счастье.
Не гоните. Яша сам определяет нужно делить домены 3-го уровня или нет. Если сайт действительно другой на третьем домене, то яша по разному тиц им посчитает. Подтверждение - два моих сайта на одном домене aon.by shop.aon.by в принципе оба моих но для яши разные и тиц им разный считает.