Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 10.12.2018, 14:37   #1
ɹoʇɐɹnqǝɥɔ ǝʇuɐpuɐɯoɔ
 
Аватар для 535i
 
Регистрация: 08.01.2011
Сообщений: 717
Репутация: 15322

По умолчанию Искусственное замедление скорости сканирования Googlebot

Добрый день.
Не спрашивайте "зачем?" мне понадобилось замедлить скорость сканирования сайта Googlebot`ом, просто "нужно", т.к. уже надоело выдерживать частоту запросов от бота 6 запросов/сек. (более полляма запросов в сутки, не считая других ботов/пользователей) с динамикой на увеличение.

Вопрос в том, как это правильнее сделать. Есть 2 варианта:
1. В Search Console -> Настройки сайта -> Частота сканирования выставить желаемое значение.
2. На уровне ядра сайта программно увеличить время работы скрипта: грубо говоря, "выровнять в большую сторону" время выполнения скрипта до требуемых значений, чтобы Googlebot сам понял, что нужно уменьшить число обращений в секунду.

По первому пункту: как бы, проще не бывает, но мне религия не позволяет
По второму: вижу единственный минус в увеличении количества открытых соединений (теоретически, это временно, пока бот сам не снизит частоту обращений).

Название: Screenshot_4.png
Просмотров: 333

Размер: 34.3 Кб
__________________
Пожалуйста, не думайте, что я расист. Я убиваю поровну людей всех рас.
535i вне форума   Ответить с цитированием

Реклама
Старый 10.12.2018, 15:30   #2
SeaBreeze
Академик
 
Аватар для SeaBreeze
 
Регистрация: 11.09.2005
Сообщений: 1,766
Репутация: 172636
Отправить сообщение для SeaBreeze с помощью Skype™
Социальные сети

По умолчанию Re: Искусственное замедление скорости сканирования Googlebot

Пропишите в robots.txt

User-agent: Googlebot
Crawl-delay: 20 # задает тайм-аут в 20 секунд между запросами.

И бот снизит свой аппетит.
SeaBreeze вне форума   Ответить с цитированием
Старый 10.12.2018, 15:33   #3
Fabrikart
Аспирант
 
Регистрация: 11.07.2007
Сообщений: 146
Репутация: 4706
Отправить сообщение для Fabrikart с помощью ICQ

По умолчанию Re: Искусственное замедление скорости сканирования Googlebot

Цитата:
Сообщение от SeaBreeze Посмотреть сообщение
Пропишите в robots.txt

User-agent: Googlebot
Crawl-delay: 20 # задает тайм-аут в 20 секунд между запросами.

И бот снизит свой аппетит.
Разве для Гугла это давно не действует?
Fabrikart вне форума   Ответить с цитированием
Старый 10.12.2018, 15:38   #4
Dram
Академик
 
Регистрация: 28.06.2008
Сообщений: 6,530
Репутация: 388287

По умолчанию Re: Искусственное замедление скорости сканирования Googlebot

Самое тупое что можно придумать - мешать роботу сканировать сайт. Радоваться нужно а не ограничивать.
Dram на форуме   Ответить с цитированием
Сказали спасибо:
Старый 10.12.2018, 15:50   #5
535i
ɹoʇɐɹnqǝɥɔ ǝʇuɐpuɐɯoɔ
 
Аватар для 535i
 
Регистрация: 08.01.2011
Сообщений: 717
Репутация: 15322

ТопикСтартер Re: Искусственное замедление скорости сканирования Googlebot

Цитата:
Сообщение от SeaBreeze Посмотреть сообщение
User-agent: Googlebot
Crawl-delay: 20
насколько я помню, Гугл это уже игнорирует

Dram, самое тупое это давать пространственные комментарии. Что бы Вы делали, если бы, к примеру, Ваше железо уперлось в пропускную способность канала? лимит трафика? возможности железа держать открытые коннекты? финансирование проекта? лимиты сторонних сервисов?

Вы наверное банально ответите либо менять железо, либо идти на завод

Вопрос с ограничением бота возник исключительно из-за того, что мои ресурсы не безграничны: когда бот выгрызает все квоты/лимиты сторонних, используемых мною сервисов, нужно его усмирять, а менять стратегию работы сайта уже (на данный момент) некуда. Своё железо тут не причем.
535i вне форума   Ответить с цитированием
Старый 10.12.2018, 17:13   #6
foxi
Mik Foxi
 
Аватар для foxi
 
Регистрация: 03.03.2011
Адрес: Budva
Сообщений: 9,531
Репутация: 1039819
Социальные сети Аккаунт в Telegram

По умолчанию Re: Искусственное замедление скорости сканирования Googlebot

535i, Fabrikart, не путайте с яндексом, это яндекс отказался от поддержки этого параметра. Гугл его отлично понимает, но замедлять гугла это реально глупая идея, ничего хорошего не принесет. Лучше взять более мощный сервер или оптимизировать скрипты, чтоб они вытягивали запросы от гугла.
foxi вне форума   Ответить с цитированием
Сказали спасибо:
Старый 10.12.2018, 17:50   #7
ali3n
Дипломник
 
Регистрация: 07.05.2011
Сообщений: 50
Репутация: 1156

По умолчанию Re: Искусственное замедление скорости сканирования Googlebot

Цитата:
Сообщение от foxi Посмотреть сообщение
535i, Fabrikart, не путайте с яндексом, это яндекс отказался от поддержки этого параметра. Гугл его отлично понимает
Понимает... отлично... ну-ну:
https://prnt.sc/lt44e9
https://webmasters.googleblog.com/20...googlebot.html
ali3n вне форума   Ответить с цитированием
Старый 10.12.2018, 17:54   #8
XPraptor
WebMonster
 
Аватар для XPraptor
 
Регистрация: 15.10.2004
Адрес: Minsk
Сообщений: 2,902
Репутация: 219893

По умолчанию Re: Искусственное замедление скорости сканирования Googlebot

ТС, если машина позволяет - гугл будет парсить вас быстро. В консоли настройка замедлит его через 2-3 месяца только и то не на ту величину, которую вы просите, а опять же на его усмотрение.
XPraptor вне форума   Ответить с цитированием
Старый 10.12.2018, 18:56   #9
535i
ɹoʇɐɹnqǝɥɔ ǝʇuɐpuɐɯoɔ
 
Аватар для 535i
 
Регистрация: 08.01.2011
Сообщений: 717
Репутация: 15322

ТопикСтартер Re: Искусственное замедление скорости сканирования Googlebot

XPraptor, железо позволяет. Я только "ЗА", чтобы Гугл кушал мои страницы с максимальной скоростью - для этого с моей стороны созданы все условия.
Проблема в другом: в процессе сканирования расходуются сторонние ресурсы (есть лимиты, квоты), которые сайт активно использует. Вот с этим приходится считаться. Не всегда есть возможность их купить даже при наличии денег.

---------- Добавлено 10.12.2018 в 17:58 ----------

Цитата:
Сообщение от XPraptor Посмотреть сообщение
В консоли настройка замедлит его через 2-3 месяца
вот это новость.... в моём понимании эта настройка должна была бы срабатывать чуть ли не на следующий день.

---------- Добавлено 10.12.2018 в 18:08 ----------

foxi, я припоминаю, что совсем недавно Вы в Яндекс ветке подобный вопрос подымали. Кажется, Вашим решением было периодически http-код 503 отдавать.
Это оправдало ожидания или Вы нашли другое решение?

Последний раз редактировалось 535i; 10.12.2018 в 19:12..
535i вне форума   Ответить с цитированием
Старый 10.12.2018, 20:54   #10
foxi
Mik Foxi
 
Аватар для foxi
 
Регистрация: 03.03.2011
Адрес: Budva
Сообщений: 9,531
Репутация: 1039819
Социальные сети Аккаунт в Telegram

По умолчанию Re: Искусственное замедление скорости сканирования Googlebot

535i, да яндекс я усмиряю кодом:
if (mb_stripos($useragent, 'yandex.com', 0, 'utf-8') !== false) {
$load = sys_getloadavg();
if ($load[0] > 4) {
header('HTTP/1.1 503 Service Temporarily Unavailable');
header('Status: 503 Service Temporarily Unavailable');
header('Retry-After: 3600');
die();
}
}
отдавая его только яндекс боту. яндекс не обижается и реально усмиряется.
foxi вне форума   Ответить с цитированием
Ответ




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 12:49. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны