seodor хорош ли?

Почему бы тогда не сделать так. Генерим локально 100% контента в кеш, а потом кроном догенериваем в кеш понемногу в пределах нагрузки на источники контента и в пределах нагрузки на на сервер. Ключи/ссылки будут вылазить по мере их готовности. Нагрузка в момент нашествия ботов не увеличиться, но она и низкой не будет так как дор все время подгенеривает новые ключи.

Вот, уже ближе, только не пойму про 100% контента к кэш, если мы его сразу закэшируем, что потом будем догенерировать?

Ну и 100% нереально, потому что контент берется, допустим, из сниппетов.

Все реально. Фри ё майнд! Вот вы программисты странные люди..

Берешь базу ключей, делишь на 2 части. Первую генеришь локально на 100%, забиваешь в кеш. Запуливаешь на сервак.

Ну и вторую часть подгенеривает скрипт на серваке кроном. Снипеты или че еще пофиг, так как скорость парсинга управляется не ботами а железобетонной настройкой.

Значит можно избежать бананов и прочих радостей.

Я как на другую планету попал, какой еще настройкой, если мне такой парсинг быстренько обрубят поисковики?

Признаюсь, с фри майндом действительно проблемы..

у тебя в конфиге забито например дергать из псов один запрос в час. бан светит?

Светит, поскольку 1 запрос в час это ни о чём.

Во-первых, на одном IP не один дор.

Во-вторых, по одному запросу в час, дор будет до пенсии дорвейщика генериться. Дор на 30000 страниц сгенерируется примерно за 3,5 года.

Первые мои дорвеи генерились по крону. 1 запрос в две минуты - вся толпа с одного IP рвалась в бой. Поэтому знаю, о чём говорю.

А так нельзя, ибо без соксов - бан 100 пудов.

Бан источника - локальная ситуация. Ок, можно с динамическим ИП - парс, бан, перезагрузка модема, парс, бан...

Локально получить все с источника - не варик, это же бан без соксов. На чем генерить кеш? Так а если ключи требуют +=1 запроса?, а там бан? А с задержкой дор - так это на 3 года :)))

P.s. Как 50 к с отложенкой так сделать с одного шаред ИП?

Да, мне тут уже подсчитали выше что 3 с половиной года а не три.

Тогда такие варианты:

1. Юзать небанящие источники. (Может, Бинг?) Если конечно еще такие остались.

2. Делать на выделенном сервере АПИ с парсящим движком, к которому можно обращаться за контентом как к проксику. На этом сервере например может быть установлен А-Парсер, который нормально с парсингом справляется и с ним в комплетке проксей пачка.

3. Видит бог я пытался вам помочь с динамикой, но .. увы, так что последний вариант - юзать статику и все сгенерить заранее. Например ... чем бы сгенерить.. а, ну да, пандорой конечно.

Для ру сегмента вроде как нету то. Надо что-то где есть апи(соц. сети какие-нибудь).

А вот это хороший вариант и как сервис за денежку пригодился бы, да с кешированием то :)

Могу взяться переписать SEoDOR за спасибо, пишите в ЛС.