Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Таймаут роботов при запросе.

V
На сайте с 25.06.2004
Offline
57
Voodooist
646

Собственно вопрос: какой может быть таймаут у роботов при запросе страницы ?

Реализую сейчас один проект, в котором много запросов в базу. То есть на стороне сервера страница собирается не мгновенно.

Сколько может ждать робот после запроса на получение информации ?

Необходимо, чтобы сайт нормально индексировался.

Спасибо.

lagif
На сайте с 15.12.2004
Offline
30
lagif
#1

Voodooist,

Странный вопрос. Если страница не найдена или возникла другая ошибка, кроме 404, код вернется сразу. Если пропала связь или долго резолвится домен - опять же, если через пару минут не разрезолвился - то, скорее всего, что и через пять минут ничего не будет. :)

Это тоже пройдет...
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
V
На сайте с 25.06.2004
Offline
57
Voodooist
#2
lagif:
Voodooist,
Странный вопрос. Если страница не найдена или возникла другая ошибка, кроме 404, код вернется сразу. Если пропала связь или долго резолвится домен - опять же, если через пару минут не разрезолвился - то, скорее всего, что и через пять минут ничего не будет. :)

задам вопрос немного иначе.

страница выдается, она собирается какое-то конечное время.. скажем 0,5 секунды. повлияет ли это каким-либо оразом на индексацию ?

lagif
На сайте с 15.12.2004
Offline
30
lagif
#3

Voodooist, Нет, если индексировать будете не в один поток, а в несколько: пока кто-то из пауков думает, другой уже успел распарсить и проиндексировать пару страниц.

V
На сайте с 25.06.2004
Offline
57
Voodooist
#4

lagif, спасибо

pelvis
На сайте с 01.09.2005
Offline
345
pelvis
#5

рекомендую почитать топикстартеру литературу про апач

Продаю вывески. Задарма и задорого (https://www.ledsvetzavod.ru/)
lagif
На сайте с 15.12.2004
Offline
30
lagif
#6

pelvis, определенно. Рулит и RFC-2616 - для HTTP-протокола.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий