Проблема с еррорами ссылок(ботом биржи).

Strelnik
На сайте с 26.08.2013
Offline
75
363

Доброго времени суток, такая проблема:

В целом сервер держит нагрузку, большая часть сайтов работает почти на чистом html ( php инклуд в местах), но тем не менее, бот на бирже в которой продано больше всего ссылок(около 30000 ) изредка не получает доступ к страницам.

В чем может быть проблема? Может одновременные подключения с одного айпи? Какие настройки поковырять?

Стоит apache + nginx.

Спасибо!

До сих пор гоняешься за рублями? Бери бурж хостинг (https://www.fatcow.com/join/index.bml?AffID=839239) и зарабатывай зеленых енотов!
L
На сайте с 10.02.2015
Offline
249
#1

Смотреть логи ошибок.

MU
На сайте с 01.10.2013
Offline
43
#2

Нужен лог Apache. Какую ошибку отдаёт веб-сервер, когда бот не получает доступ к страницам?

Хостинг на SSD от 49 руб./мес. (http://mne.ru/services/virt_hosting.shtml) + бесплатный SSL VPS/VDS на SSD в России от 75 руб./мес. (http://mne.ru/services/vps.shtml) Скидка 10% на хостинг и VPS по промокоду — SEARCHENGINES
Strelnik
На сайте с 26.08.2013
Offline
75
#3

Не видно ошибок, может блокироваться на ином уровне?

Также стоит проблема в отслеживании конкретно этих страниц, не можем найти к сожалению, попробуем сейчас скрипт написать. Но вроде когда вручную смотрели, показалось что до апача не доходит.

Andreyka
На сайте с 19.02.2005
Offline
822
#4

Нужно для начала узнать URL, который недоступен из лога бота. Он рандомный или фиксированный?

Не стоит плодить сущности без необходимости

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий