seodor хорош ли?

http://seodor.biz/forum/threads/292/page-3

---------- Post added 13-09-2015 at 17:21 ----------

Залей доменов 20 и начни кешировать каждый одновременно хотя бы в 1 поток.

Ну по 1 дору оценивать нельзя, я говорил про пачки на десятки-сотни хотя бы.

Надо регестрироваться, мне влом.

Зачем их кашировать самому? Там вроде как делается по мере обращения робота ПС. И да по 20 не заливал, но по 10 шт разом было и не раз. Я ж не матёрый дорвейщег, больше даже лубочный. 🤪

Вот остатки СЕОдора на той виртуалке, многие заменил сайтами на другом доргене, раньше было раза три больше.

На посещалку не смотреть, скрин делался вчера чуть заполночь, но выложить постеснялся. 😂

Чтобы боту быстрее отдать и распланировать нагрузку заранее. Например чтобы сервер не умер когда придут боты на все домены :)

Тогда понятно, я о других ситуациях говорил.

hakuna matata, я ж вроде признался уже, что не прав был. 😡 К чему дальше спор? 🍾

А как быть?

Не спор, я подумал что может ошибаюсь и у сеодора какая то есть тайная кнопка "не тормозить" :) Просто знаю много людей, которые не смогли его использовать именно по этой причине и я из их числа.

ну хз, наверное можно прокладку эту слить и повесить либо на свой домен, либо в каждый дор пихать

Фома если ты не кешируя дор загонишь ботов пс одновременно на 10 доров,

то они тебе сервак положат в течении 5 минут.

Пэтому кешировать надо самому заранее хотябы 50 процентов ключей

Ну нереально же 100 к запросов в гугл отправить для такого кэширования заранее.

Я вот думаю, может стоит делать так:

1) если запросов прилетает слишком много, отдавать какой-нибудь контент (неважно, из файла, или из кэшированного уже)

2) ставить запрос в очередь на парсинг, в следующий раз отдать нормальный контент

Понятное дело вариант так себе, но лучше чем сервер положить. Но парсить сотни тысяч страниц поисковиков - нереально же.

о_О При чем тут гугл. Кеширование - это прямое обращение с твоего компа на сервер дора.

Скрипт в доре выполняет парсинг и сохраняет результат в кеш. А уже потом приходит гугля и обращаясь к дору получает из кеша.

Проблема в том что и при кешировании будут обращения к источникам парсинга, значит могут быть баны со стороны этих источников контента.

Я может криво выразил свои мысли (когда код пишу, мозг переходит в другое русло), но мы говорим об одном и том же. Гугл привел для примера, источник может быть любым.

Я к тому, что shadson предлагает заранее кэшировать половину ключей. Под "заранее" я понимаю генерацию этого кэша на локальном пк (ну или сервере) при создании. Но это лишь перекладывает проблему в другую плоскость. Доры у нас разгрузятся (поисковики будут брать статику в половине случаев), но при создании нужно будет постоянно делать себе мозги с кучей прокси (ведь придется сразу парсить под каждый дор кэш в большом количестве). Надеюсь ясно выразился.

У меня просто у самого дорген по такому принципу построен, сейчас собираюсь переписывать, а адекватного решения не вижу.