Дорвейный марафон Financia

InspectorU
На сайте с 12.05.2015
Offline
17
#981
Sobesednic:
Попробуй в robots.txt прописать, должно снизить нагрузку

User-agent: Yandex
Crawl-delay: 10 # задает таймаут в секундах

User-agent: Googlebot
Crawl-delay: 10

Гуглобот Crawl-delay не слушается... его из панели вебмастера можно только приструнить...

shurik0
На сайте с 07.01.2011
Offline
301
#982
InspectorU:
Гуглобот Crawl-delay не слушается

А он и так адекватный, пишу "Crawl-delay: 5" и всё нормально!

Качественный хостинг по низкой цене. (http://goo.gl/MpjbKi)
InspectorU
На сайте с 12.05.2015
Offline
17
#983
shurik0:
А он и так адекватный, пишу "Crawl-delay: 5" и всё нормально!

Это тебе какой-то сцикливый и послушный попался )))

AK
На сайте с 23.02.2009
Offline
117
#984

Условный crawl-delay можно и у nginx поставить, если статика. Хотя я не сталкивался, чтобы где-то падал от ботов nginx вообще.

[Удален]
#985
ant_key:
Ой, да иди-ка ты найух со своими репами и рефками, долбоеб 🤣 Носит же таких Земля

Свои косяки сложно заметить, пердануть и свалить, тыкая на других пальцем куда круче.

HM
На сайте с 14.01.2012
Offline
258
#986
Financia:
Чуваки, че делать? Боты гугла и яндекса ддосят серв. Какую конфигурацию серва и настройку посоветуете (подешевле)?

Доры в статику, отдавать через nginx.

Вы ебанулись гуглобота и яндекс лимитить что ли :)

[Удален]
#987
Financia:
Чуваки, че делать? Боты гугла и яндекса ддосят серв. Какую конфигурацию серва и настройку посоветуете (подешевле)?

Если доры на автодоре, то попробуй установить opcache и кэшировать файлы скрипта.

HM
На сайте с 14.01.2012
Offline
258
#988

Dimazzan, я автодор не юзал, но осмелюсь предположить что затык там не в сборе кучки скриптов в опкод, а в парсинге контента, оттуда и тормоза.

[Удален]
#989
hakuna matata:
Dimazzan, я автодор не юзал, но осмелюсь предположить что затык там не в сборе кучки скриптов в опкод, а в парсинге контента, оттуда и тормоза.

У меня стоковый апач умел 30-50 запросов/сек, точно не помню. Это на кэшированных страницах. После опкэша скорорость возрасла где-то до 250.

Но возможно да, у автора трабла с некэшированным пагами.

Financia
На сайте с 03.06.2009
Offline
245
#990

Не, щас делаю чисто статику. Частично есть и автодор, но его уже мало по отношению к общему числу.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий