SEoDOR 5 - CMS для дорвейщиков!

igor3310
На сайте с 27.02.2011
Offline
138
#131

Здравствуйте!

1) Подскажите пожалуйста - а почему нету парсинга через прокси ведь ПС банят?

2) Как с мультидоменостью если все на одном сервере - клиенты скачивать ненужно , просто направить все на одну папку с мамкой?

3) За сутки сколько можно страниц напарсить например на серере с РАМ 16ГБ и 8 ядерный процес? (и тут же снова вопрос про прокси - так как парсить 100к в сутки забанят точно)

4) лицензия как я понял на 1 IP идет? Сколько доп. лицензия стоит?

5) Вопрос - счетчики LI дорген не регистрирует для каждого домена? И если ччто сколько такое написать будет стоить? Или Ваш универсальный пойдет?

6)Синонимайзер есть?

7) Требования к серверу какие?

8) МОжно вначале для доменов напарсить страниц ,а потом ами домены припарковать?

Веб разработка WordPress, OpenCart, Modx Revo и прочее - https://searchengines.guru/ru/forum/1040224
kxk
На сайте с 30.01.2005
Offline
970
kxk
#132

igor3310, Есть парсинг через прокси

Да, и так есть и клиентами, как больше нравиться

Ваш DEVOPS
igor3310
На сайте с 27.02.2011
Offline
138
#133
kxk:
igor3310, Есть парсинг через прокси
Да, и так есть и клиентами, как больше нравиться

Спасибо!

А что Яшу и Гугла парсить - это надо прокси не из паблика и с https?

И что Вы имеете ввиду под словом клиент?

И по нагрузке подскажите плиз - сколько можно закешировать на сервере с 16ГБ РАМ и 8 ядер? Интересуют доры по 50к- 100к страниц

kxk
На сайте с 30.01.2005
Offline
970
kxk
#134

igor3310, Там не 1 Яша и Гоша:)

Прокси могут быть сами клиенты те доры доры сами парсят с своих шаред хостингов где есть курл :)

Также можно парсить с доп ип адресов сервера

1 дор 20к страниц ~100 мегабайт

igor3310
На сайте с 27.02.2011
Offline
138
#135
kxk:

Прокси могут быть сами клиенты те доры доры сами парсят с своих шаред хостингов где есть курл :)

Как это?

И на сервере с 16ГБ РАМ и 8 ядер в сутки сколько можно закешировать?

И как с этими вопросами может плиз кто ответить?

Здравствуйте!

1) Нужны прокси с https?

2) Как с мультидоменостью если все на одном сервере - клиенты скачивать ненужно , просто направить все на одну папку с мамкой?

3) За сутки сколько можно страниц напарсить например на серере с РАМ 16ГБ и 8 ядерный процес? (и тут же снова вопрос про прокси - так как парсить 100к в сутки забанят точно)

4) лицензия как я понял на 1 IP идет? Сколько доп. лицензия стоит?

5) Вопрос - счетчики LI дорген не регистрирует для каждого домена? И если ччто сколько такое написать будет стоить? Или Ваш универсальный пойдет?

6)Синонимайзер есть?

7) Требования к серверу какие?

8) МОжно вначале для доменов напарсить страниц ,а потом ами домены припарковать?

igor3310
На сайте с 27.02.2011
Offline
138
#136

По вашему тесту на "Стандрате" пишите держит 10 запросов в секунду парсинга и кеширования - тоесть 864 000 страниц в сутки можно запарсить и закешировать?

И какая нагрузка будет для уже полностью закешированных доров? Сколько тот же стадарт уников в день выдержит?

X
На сайте с 23.05.2012
Offline
70
#137

1) нет

2) ХЗ

4) Нет. Не ограниченно

5) Регит

6) Нет

7) На офф сайте гляньте

8) Нет

Дорген есть и пользуюсь. Так что ответы со стороны пользователя.

Хостинг на SDD плюс домен com бесплатно ('https://www.a2hosting.com?aid=5e3139826c0a4') ||Гадаем капчи - Постим куда хотим. Наш доллар все еще 40 рублей. (http://www.botmasterru.com/product67583/)
igor3310
На сайте с 27.02.2011
Offline
138
#138
Xrumchenko:
1) нет
2) ХЗ
4) Нет. Не ограниченно
5) Регит
6) Нет
7) На офф сайте гляньте
8) Нет
Дорген есть и пользуюсь. Так что ответы со стороны пользователя.

А 8 вопрос почему нет?я их добавлю в проэкт доргена , НО пока к серверу парковать небуду

На оффе нету требований к серверу (типа какой php и т.д.)

X
На сайте с 23.05.2012
Offline
70
#139
igor3310:
А 8 вопрос почему нет?я их добавлю в проэкт доргена , НО пока к серверу парковать небуду
На оффе нету требований к серверу (типа какой php и т.д.)

Потому что не заработает.

igor3310
На сайте с 27.02.2011
Offline
138
#140

А счетчики ЛИ саом регит или какой то универсальный ставит?

И для этого достаточно в шаблоне макрос <liveinternet />

И по генерации подскажите - на 16ГБ РАМ и 8 ядер 2.4 ГЦ - сколько за сутки можно запарситьи закешить?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий