Форум Практика оптимизации Doorways & Cloaking

как ограничить скорость прохождения страниц поисковыми роботами ?

D
На сайте с 24.01.2013
Offline
89
dudits
1142

привет, может кто подскажет, как ограничить скорость прохождения ботами страниц дорвея ? очень сильно грузят канал боты яндекса, можно как то через Robots можно?

W
На сайте с 30.11.2009
Offline
80
webruk
#1

http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#crawl-delay

D
На сайте с 24.01.2013
Offline
89
dudits
#2

и какое время лучше выставить?

TopperHarley
На сайте с 24.03.2009
Offline
350
TopperHarley
#3

Начни с малого:

User-agent: Yandex

Crawl-delay: 0.5

Если опять сильно грузят, увеличь до секунды и т.д.

PandoraBox - генератор #1 ( https://pandoraboxx.ru ) :: ContentBox - Новый многопточный парсер текста,картинок,видео и т.д. ( https://pandoraboxx.ru/contentbox.php ) :: Конвертор шаблонов WP/DLE ( https://pandoraboxx.ru/templateconvertor.php )
BkSeo
На сайте с 10.06.2013
Offline
126
BkSeo
#4
dudits:
и какое время лучше выставить?

а кто знает параметры твоего хостинга?

D
На сайте с 24.01.2013
Offline
89
dudits
#5

что то нифига не сняло нагрузку, ставил 4 секунды задержку

S
На сайте с 02.04.2012
Offline
76
Sobesednic
#6

ставь больше, 4 мало, у меня изначально 5 стоит, когда были большие набеги яши ставил 10 – 20

Mahrock
На сайте с 28.04.2006
Offline
193
Mahrock
#7

если штук тыща доров и все с парсингом, то смысла в кравле нет

M5
На сайте с 12.08.2009
Offline
221
M25
#8
dudits:
что то нифига не сняло нагрузку, ставил 4 секунды задержку

6 часов прошло же только

► Рейтинг серверов — ТОП10 ◄
nesterdron
На сайте с 09.10.2009
Offline
528
nesterdron
#9
dudits:
что то нифига не сняло нагрузку, ставил 4 секунды задержку

Погоди малость....

➨Куплю порн0 трафик - писать в ЛС<<< ➨Хостинг, VPS - Саппорт всегда Онлайн. Скидки и Тестовый период! (https://is.gd/5mCoBt) ➨о_0

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий