Соглашусь с umka, задачу вы ставите очень серьезную. Такой ли серьезный проект вы делаете?
У сайта в лучшие времена 12к рейтинг по Алексе.
Написано отптимально, по запросам mysql аудит делали ребята из MySQL Performance Blog.
Так что давайте гепотетически предположим, что это не в скриптах дело, а в оочень сильной нагрузке.
SilverMaster добавил 07.01.2010 в 10:21
В таком случае 100% потеряем посщаемость. Т.к. монетизация адсенс.
Мысль ваша прекрасна!
Пришли первые парсеры - прийдут вторые.
Я тоже склонен к изящным решениям.
SilverMaster добавил 07.01.2010 в 01:09
Мощи хватает, просто есть несколько десятков выборок на довольно объемных базах.
И когда 5-10 запросов страниц умножить на 20 запросов = 100-200 мускуль запросов.. Вообщем тут и Quad Core говорит "извините"
Запросы оптимизированы. Все очень пристально просмотрено mysql топ программерами.
Это только усложнит парсинг. Дело в том, что мы бы с радостью отдали весь контент в дампе мускульном, лишь бы нам не делали такую нагрузку.
А про то, как к такому методу скрытия информации отнесеться гугль - я вообще чесно признаться и думать не хочу. Не то чтобы пеналя или фильтра боюсь, не уверен что схавает контент правильно.
SilverMaster добавил 07.01.2010 в 00:31
Боюсь это просто такая короткая выборка. Там очень разношерстно.
Собсно, как вирусы цепляют не зависимо от страны. Нубов хватает везде.
у нас nginx + mysql
думаю будем мускуль выносить на отдельный сервер
пока других идей нет
аааа это как?
можно ткнуть носом?
Да, юни, ты прав. Надо подсовывать, но реально если они прикидываются нормальными людьми - то я не могу их определи.
Просто я поражаюсь как динамично и красиво меняеться их пул ипов.
Вообщем судя по всему только наращивать железо...
В дальнейшем тоже пригодиться имхо.
Отсеивать тоже не дело. Они приносять деньги, хоть правда копейки, но сейчас такое время.
114.39.206.132
109.88.5.201
122.100.239.174
124.6.181.143
195.229.236.212
из последних
да обычный сайт, тематика рингтоны
SilverMaster добавил 06.01.2010 в 18:49
юни, это не 10к из одной сети, это все разные сетки
походу зараженные компы
Правильно!
Мы так и сделали, отдавали не те страницы ( отдавали закешированые ПОХОЖИЕ страницы).
Разумеется - у них теперь не база, а каша, но судя по всему они нас парсят на заказ ( я видел на гетафрилансере запрос на парсинг нашего сайта), так что
мы только ухудшаем ситуацию, так как они по новой пойдут.
