- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Интересует, сколько времени проводит краулер на одной странице после того, как он взял контент. Думаю, что дорвейщики лучше всех ответят на данный вопрос. Поисковики: Яндекс и Гуголь.
Бот индексатор, не висит на страницах. Отправка get запроса => получение кода страницы => если страница найдена и она изменилась с момента прошлой индексации, сохраняет результат, иначе переходит к следующему пункту => отправка get запроса следующей странице.
Это вариант без редиректов и прочих редких ситуаций.
получение кода страницы
Меня интересует время после этого момента.
Интересует, сколько времени проводит краулер на одной странице после того, как он взял контент.
Временем нахождения на странице можно считать только время, за которое бот эту страницу скачает.
Далее эта страница, скорее всего сразу же сохраняется на сервере у яндекса, анализируется уже позже.
А что касается паузы между обращениями бота к страницам (время "нахождения" бота на странице), так это зависит от того, что указал вебмастер в robots.txt (параметр Crawl-delay http://help.yandex.ru/webmaster/?id=996567#1022359).
Мало, очень мало.
Если сайт свежий, то Яндекс каждую секунду-две заходит на новую страницу.
Рамблер у меня один раз вообще просканировал весь сайт со скорость 5-7 страниц в секунду.
За гуглей не слежу.
Ну вообще-то это узнать невозможно. Т.к. под "висит на странице" подразумевается на самом деле время на обработку страницы, которое невозможно узнать в силу особенностей протокола HTTP.