Таймаут на неответ страницы

Нет. Вданном случаи уходит потому-что моного страниц не дали ответ и индексатор считает что сервер загружен(временно недоступен и т.д.) Но не как не из-за того что привышен таймаут ответа страниц.

уход был зафиксирован даже с 30-ти страничного ресурса, количество точно в данном случае не имело значения, что таймаут существует это просто очевидно, без него просто нельзя, но вот его значение - ?

Не отрывается или сервер дает time out. Это разные вещи.

Вы посмотрите на пакеты, которые идут.

Ведь, ползая по сети, вы наверное не раз видели что броузер отключается через 4-5 сек, недогрузив страницу, но в тоже время есть страницы которые он тянет долго и до конца.

Дело не в том, сколько нет ответа (обычно принято ожидание 60 сек), а в том, что в это время происходит. Как себя ведет сокет сервера. Какие пакеты (TCP/IP) посылаются.

Скорее всего проблема в общих настройках сервера.

не, про сервер .. это было первое на что я решил глянуть, так что это исключаем .. тянет долго и до конца :)

мне интересно сколько ждет индексатор ! ????

это была случайность или всеж 7-10 сек. торможения выдачи контента имеют значение?

Еще раз повторюсь:

На одном и том же ресурсе, когда видит одну две страницы с тормозами - идет дальше, когда с десяток (все тех же страниц, с тех же скриптов и т.п.) - уходит.

Это верно. Это защита от подвисания робота.

Должно быть стандартное 30 или 60 сек, но еще раз повторю, важно что в этот момент происходит с сокетом, куда робот подключился.

Ведь тайм оут, в том смысле, которое используется в сети, этио не время до загрузки страницы, а время простоя/ожидания пакета.

Здесь вопрос уже не сколько о конкретных ресурсах и их индексировании, сколько о нас тройках робота и времени ожидания получения контента.

В 60 сек верится с трудом, ну может только для главной, но не логично робота настраивать на 60 сек ожидания каждой страницы от "многотысячного" ресурса. Да 30 тоже "не мало". Не уже ли нет таких данных? Никто не отслеживал?

Lestor_SB,

Извениет, но складывается впечатление, что или Вы читаете через/между строк, или о сетевых технолдогиях слышали тоько название.

Вы-бы хоть тогда сказали, что Вы называете тайм оутом, индексатором?

Главная, обычно отдается быстрее всех =))

допускаем что я

и вот такого "меня" интересует, сколько робот индексатор будет ждать от хоста ответ на запрос конкретной страницы?

Lestor_SB,

Давайте тогда по очереди.

пишу(утрированно) протокол общения клиента (робота, юзера "К") и сервера ("C") по протоколу HTTP 1.1 (некоторые боты ходят с 1.0)

1. К - GET ...... (запрашивается страница и передаются стандатрые параметры - имя агента, куки, и т.д.)

2. C - Создает сокет для подключения, видиляет виртуальную сессию, принимает данные, запускает виртуальный процесс.

3. C - 200 ..... (стандартный ответ сервера с заголовком ответа)

4. С - блок данных

5. К - Клиент подтверждает получение и становится в ожидание следующего блока.

Пункты 4-5 повторяются, пока блок не закончится значением 0.

Так вот, тайм оут, который указан в соединении, это ожидание между каждым из блоков получения/передачи.

А общая длина, какраз и определяется параметром 30 или 60 сек.

А вот параметры ожидания блока, определяютя, чаще всего, параметром сервера. Как долго он держит текущую сессию.

Бот же будет ждать разумное время, т.е. не более 3 000 мсек. Т.к. для TCP/IP сетей, это наиболее частый параметр.

Все изложенно в наиболее общей форме.

отлично :), надо было мне сразу разбирать по пунктам .. ступил, извиняйте

так вот, заходит значит робот, п.1. > п.2 > п.3 все оки, типа апач ответил, отдал 200, и вот скрипт страницы начиет на пол пути тормозить, типа пытается выполнить какой-либо запрос, к той же БД, и .. тормоза тормоза тормоза ...

Так вот вопрос мой как раз касался того, что какое время робот будет ждать окончательную передачу данных. Из вашего ответа я так понял 3000 мсек. Я правильно понял?