Brand from Amber

Brand from Amber
Рейтинг
308
Регистрация
18.08.2007
юни:
Ну, похоже, что действительно кто-то из ботнета выжимает остатки... причём американские пулы

Хоть география и обширна, но ни одного АмерикоССкого IP.

юни:
Можно, кстати, по региональному признакому блокирнуть - зачем тебе всякие дубайско-штатовские непоймикто?

Вот это дело... я у себя не то что по странам, я по регионам внутри страны и по провайдерам внутри регионов фильтрую.

SilverMaster:
Отсеивать тоже не дело. Они приносять деньги, хоть правда копейки, но сейчас такое время

Кто? Боты? :-) Отсеивать можно и нужно! Как вариант, "руби" всех кто пришел не на морду с чужестранного IP и без внятного реферера.

Brand from Amber добавил 06.01.2010 в 22:48

SilverMaster:
думаю будем мускуль выносить на отдельный сервер

Это должно было быть сделано ещё давно из соображений безопасности и независимо от мощности web-сервера.

alexber220:
В Google поиске сделано просто

баян...

alexber220:
5-10 страниц в секунду - жесть

...который легко обходится сеткой из 10К ботов

юни:
Так что, независимо от куко-заголовков, парсера всегда можно вычислить по адресу.

Для вычисления парсера по IP необходимо, как минимум, знать IP парсера :-) Вопрос в том и стоит - как определить то, что пришел бот, а не человек, после того как бот прикинется человеком (правильный юзнрагент, нормальные рефереры, рандомные промежутки между запросами... и т.п...) ?

юни:
Если это ботнет, то пеняй юзеру, чтобы машину чистил, ну а если белый адрес, то имеет смысл поговорить с провайдером про такую активность

Пенять 10К юзеров ? Анрил (особенно учитывая нежелание провайдеров сотрудничать и динамические IP аля Yota, MGTS)

Supervisork:
Аякс прицеплен, потому что скрипт 1, а разделов галереи много. Не делать же пол сотни скриптов со своими массивами на каждый раздел?

Массив можно и и без аякса, в контенте или отдельным src подключать.

Supervisork:
Кроме того, новые разделы галереи создаются не мной. И люди сами скрипты под них не напишут. Можно, конечно генерить скрипт, вставляя в него нужный массив... Но зачем грузить новый скрипт с каждвм разделом, если скрипт может быть один, а набор данных везде свой?

Я и не спорю - метод подгрузки данных через Аякс вполне пригоден.

Supervisork:
Думаю, общую схему лучше не придумать. Если есть возражения, любопытно было бы узнать.

Не возражения, а варианты:

<script src="скрипт">

<script src="данные">

Supervisork:
А чё за глюки? Я в 3-х браузерах смотрел (О, ФФ, ИЕ) - все нормально.

Сворачиваем окно до небольших размеров. Открываем в этом окне фотку. Разворачиваем окно. получаем:

jpg 2.jpg
niic:
1 страницу под 200 запросов? поисковик может подумать что это дорвей.

Где это Вы такие дорвеи видели?

niic:
Идеал - 1 запрос 1 страница

Вовсе нет.

Были проблемы с работоспособностью скриптов парсинга, но, слава Новому Году, благополучно решились переводом на "10-и местный серп", увеличением таймаутов и кол-ва прокси. Сейчас всё нормально.

.
.

.

С новым годом (тама в курилке - будьте внимательнее)

P.S. Успехов и присутствия самообладания.

Присоединяюсь. #196 СНГ

Supervisork, есть там некоторые глюки + непонятно зачем аякс приплели, но 8 Кб всяко лучше чем 56 Кб.

Всего: 3101