- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
у нас nginx + mysql
думаю будем мускуль выносить на отдельный сервер
пока других идей нет
Ну, похоже, что действительно кто-то из ботнета выжимает остатки... причём американские пулы
Хоть география и обширна, но ни одного АмерикоССкого IP.
Можно, кстати, по региональному признакому блокирнуть - зачем тебе всякие дубайско-штатовские непоймикто?
Вот это дело... я у себя не то что по странам, я по регионам внутри страны и по провайдерам внутри регионов фильтрую.
Отсеивать тоже не дело. Они приносять деньги, хоть правда копейки, но сейчас такое время
Кто? Боты? :-) Отсеивать можно и нужно! Как вариант, "руби" всех кто пришел не на морду с чужестранного IP и без внятного реферера.
Brand from Amber добавил 06.01.2010 в 22:48
думаю будем мускуль выносить на отдельный сервер
Это должно было быть сделано ещё давно из соображений безопасности и независимо от мощности web-сервера.
Хоть география и обширна, но ни одного АмерикоССкого IP
А, ну точно, все европейские. Значит, прикрывают ботнет, видимо, после праздников займутся окончательно.
А написать небольшой плагин для смены последовательности html тегов, т.е. менять атрибуты местами и т.п... У меня для одного сайта такое в планах. Это нормально будет?
А написать небольшой плагин для смены последовательности html тегов, т.е. менять атрибуты местами и т.п... У меня для одного сайта такое в планах. Это нормально будет?
Это только усложнит парсинг. Дело в том, что мы бы с радостью отдали весь контент в дампе мускульном, лишь бы нам не делали такую нагрузку.
А про то, как к такому методу скрытия информации отнесеться гугль - я вообще чесно признаться и думать не хочу. Не то чтобы пеналя или фильтра боюсь, не уверен что схавает контент правильно.
SilverMaster добавил 07.01.2010 в 00:31
А, ну точно, все европейские. Значит, прикрывают ботнет, видимо, после праздников займутся окончательно.
Боюсь это просто такая короткая выборка. Там очень разношерстно.
Собсно, как вирусы цепляют не зависимо от страны. Нубов хватает везде.
Это только усложнит парсинг. Дело в том, что мы бы с радостью отдали весь контент в дампе мускульном, лишь бы нам не делали такую нагрузку.
Ну зачем же так ) своё отдавать всяким "прохожим" не хорошо. Они тогда вообще обленятся и вместо парсинга будут сразу писать владельцам сайтов что-то типа:
"Ей, сишишь, давай дамп базы, а то парсить буду, всем будет плохо. Если не отдатите в течении часа то ябуду парсить по 1к старниц в ..."
В общем не сдавайтесь, боритесь за своё.
И кстати, такой мощный сервер и не хватает мощи? Если не секрет, какая посещалка вообще? без этих ботов
Слежу за топиком из интереса...
На основании уже вышесказанного, я бы попробовал:
Вычленять не характерную аудиторию (т.е. IP из Гондурасов и т.п.), оценивать частоту запросов от таковых и банить нафиг наглухо.
т.е., например, IP - Эмираты - второй запрос за минуту и больше - кажем фигу! Желательно не просто фигу, а сливать очень сильный траф (может быть через внешний сервак) - чтобы на "той стороне" тоже проблемы были с приемом.
Отсеивать тоже не дело. Они приносять деньги, хоть правда копейки, но сейчас такое время.
Лучше забанить нафиг на неделю (не вечно же будут пытаться выдрать контент) и потерять малое число нехарактерных юзеров, чем иметь проблемы с такими ботнетами...
А про то, как к такому методу скрытия информации отнесеться гугль - я вообще чесно признаться и думать не хочу. Не то чтобы пеналя или фильтра боюсь, не уверен что схавает контент правильно.
ПС не индексируют HTML, они его кэшируют..., а индексируют только контент, т.к. поиск осуществляется именно по нему.
Дело в том, что мы бы с радостью отдали весь контент в дампе мускульном
Создавайте API и делайте его своей фичей.
И кстати, такой мощный сервер и не хватает мощи?
Видимо канал укладывают. ...ну, либо, скрипты кривые.
понятно что весь сайт в мемкеш не загрнишь, а вот в файловый можно - это про наггрузки
парсер можно вычислить вставив во все страницы, например, картинку, которую браузер загрузит, а парсер пропустит.
вычисляешь все подозрительные ИП и выдаешь им специально подготовленный файловый кеш с месивом
Создавайте API и делайте его своей фичей.
Мысль ваша прекрасна!
Пришли первые парсеры - прийдут вторые.
Я тоже склонен к изящным решениям.
SilverMaster добавил 07.01.2010 в 01:09
И кстати, такой мощный сервер и не хватает мощи? Если не секрет, какая посещалка вообще? без этих ботов
Мощи хватает, просто есть несколько десятков выборок на довольно объемных базах.
И когда 5-10 запросов страниц умножить на 20 запросов = 100-200 мускуль запросов.. Вообщем тут и Quad Core говорит "извините"
Запросы оптимизированы. Все очень пристально просмотрено mysql топ программерами.