SilverMaster: А про то, как к такому методу скрытия информации отнесеться гугль - я вообще чесно признаться и думать не хочу. Не то чтобы пеналя или фильтра боюсь, не уверен что схавает контент правильно.
ПС не индексируют HTML, они его кэшируют..., а индексируют только контент, т.к. поиск осуществляется именно по нему.
SilverMaster: Дело в том, что мы бы с радостью отдали весь контент в дампе мускульном
Создавайте API и делайте его своей фичей.
Seredniy: И кстати, такой мощный сервер и не хватает мощи?
Видимо канал укладывают. ...ну, либо, скрипты кривые.
юни: Так что, независимо от куко-заголовков, парсера всегда можно вычислить по адресу.
Для вычисления парсера по IP необходимо, как минимум, знать IP парсера :-) Вопрос в том и стоит - как определить то, что пришел бот, а не человек, после того как бот прикинется человеком (правильный юзнрагент, нормальные рефереры, рандомные промежутки между запросами... и т.п...) ?
юни: Если это ботнет, то пеняй юзеру, чтобы машину чистил, ну а если белый адрес, то имеет смысл поговорить с провайдером про такую активность
Пенять 10К юзеров ? Анрил (особенно учитывая нежелание провайдеров сотрудничать и динамические IP аля Yota, MGTS)
Supervisork: Аякс прицеплен, потому что скрипт 1, а разделов галереи много. Не делать же пол сотни скриптов со своими массивами на каждый раздел?
Массив можно и и без аякса, в контенте или отдельным src подключать.
Supervisork: Кроме того, новые разделы галереи создаются не мной. И люди сами скрипты под них не напишут. Можно, конечно генерить скрипт, вставляя в него нужный массив... Но зачем грузить новый скрипт с каждвм разделом, если скрипт может быть один, а набор данных везде свой?
Я и не спорю - метод подгрузки данных через Аякс вполне пригоден.
Supervisork: Думаю, общую схему лучше не придумать. Если есть возражения, любопытно было бы узнать.
Не возражения, а варианты:
<script src="скрипт">
<script src="данные">
Supervisork: А чё за глюки? Я в 3-х браузерах смотрел (О, ФФ, ИЕ) - все нормально.
Сворачиваем окно до небольших размеров. Открываем в этом окне фотку. Разворачиваем окно. получаем:
Ух... чувствую что не найду единомышленников, но: Microsoft Visual Web Developer 2008 Express Edition.
P.S. В плане удобства написания кода (HTML, JS) нотепад++ и рядом не "валялся" (хотя возможно я чего-то о нём и не знаю)
А про то, как к такому методу скрытия информации отнесеться гугль - я вообще чесно признаться и думать не хочу. Не то чтобы пеналя или фильтра боюсь, не уверен что схавает контент правильно.
ПС не индексируют HTML, они его кэшируют..., а индексируют только контент, т.к. поиск осуществляется именно по нему.
Дело в том, что мы бы с радостью отдали весь контент в дампе мускульном
Создавайте API и делайте его своей фичей.
И кстати, такой мощный сервер и не хватает мощи?
Видимо канал укладывают. ...ну, либо, скрипты кривые.
Ну, похоже, что действительно кто-то из ботнета выжимает остатки... причём американские пулы
Хоть география и обширна, но ни одного АмерикоССкого IP.
Можно, кстати, по региональному признакому блокирнуть - зачем тебе всякие дубайско-штатовские непоймикто?
Вот это дело... я у себя не то что по странам, я по регионам внутри страны и по провайдерам внутри регионов фильтрую.
Отсеивать тоже не дело. Они приносять деньги, хоть правда копейки, но сейчас такое время
Кто? Боты? :-) Отсеивать можно и нужно! Как вариант, "руби" всех кто пришел не на морду с чужестранного IP и без внятного реферера.
Brand from Amber добавил 06.01.2010 в 22:48
думаю будем мускуль выносить на отдельный сервер
Это должно было быть сделано ещё давно из соображений безопасности и независимо от мощности web-сервера.
В Google поиске сделано просто
баян...
5-10 страниц в секунду - жесть
...который легко обходится сеткой из 10К ботов
Так что, независимо от куко-заголовков, парсера всегда можно вычислить по адресу.
Для вычисления парсера по IP необходимо, как минимум, знать IP парсера :-) Вопрос в том и стоит - как определить то, что пришел бот, а не человек, после того как бот прикинется человеком (правильный юзнрагент, нормальные рефереры, рандомные промежутки между запросами... и т.п...) ?
Если это ботнет, то пеняй юзеру, чтобы машину чистил, ну а если белый адрес, то имеет смысл поговорить с провайдером про такую активность
Пенять 10К юзеров ? Анрил (особенно учитывая нежелание провайдеров сотрудничать и динамические IP аля Yota, MGTS)
Аякс прицеплен, потому что скрипт 1, а разделов галереи много. Не делать же пол сотни скриптов со своими массивами на каждый раздел?
Массив можно и и без аякса, в контенте или отдельным src подключать.
Кроме того, новые разделы галереи создаются не мной. И люди сами скрипты под них не напишут. Можно, конечно генерить скрипт, вставляя в него нужный массив... Но зачем грузить новый скрипт с каждвм разделом, если скрипт может быть один, а набор данных везде свой?
Я и не спорю - метод подгрузки данных через Аякс вполне пригоден.
Думаю, общую схему лучше не придумать. Если есть возражения, любопытно было бы узнать.
Не возражения, а варианты:
<script src="скрипт">
<script src="данные">
А чё за глюки? Я в 3-х браузерах смотрел (О, ФФ, ИЕ) - все нормально.
Сворачиваем окно до небольших размеров. Открываем в этом окне фотку. Разворачиваем окно. получаем:
1 страницу под 200 запросов? поисковик может подумать что это дорвей.
Где это Вы такие дорвеи видели?
Идеал - 1 запрос 1 страница
Вовсе нет.
Были проблемы с работоспособностью скриптов парсинга, но, слава Новому Году, благополучно решились переводом на "10-и местный серп", увеличением таймаутов и кол-ва прокси. Сейчас всё нормально.
.
.
.
С новым годом (тама в курилке - будьте внимательнее)
P.S. Успехов и присутствия самообладания.