Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 07.01.2019, 11:11   #1
Аспирант
 
Аватар для LevShliman
 
Регистрация: 03.09.2018
Сообщений: 150
Репутация: -5614
Социальные сети Профиль в LinkedIn

По умолчанию Яндекс бот преследует не подетски.

Есть сайт с автонаполнением и почему то он пользуется популярностью у Яндекса.Все темы в индексе.Яндекс бот прямо живёт на сайт одновременно сканирует 40- -50 страниц.Всё бы хорошо,но на днях резко выросла нагрузка на хостинг раз в 50.Нагрузка идёт не на количество процессов,как например ,когда много ботов смотрит сайт,а именно нагрузка на потребление процессора.
Я вчера колдовал и в вебмастере понизил скорость обхода яндекса и в файле роботс поставил для Яндекса не более 1 запроса в 20 сек,но думаю,что это мало помогает и сайт на клоудфаре перенёс.Нагрузкак на хостинг подупала,но всё равно в норму не пришла.Сайт на вордпресс.Может как связано это и с переходом на новую версию вордпресса или тут не разобрать,может какой плагин такую нагрузку даёт и яндекс бот тут не причём.
__________________
адвокаты и юристы в вашем городе http://advokatiurist.ru
LevShliman вне форума   Ответить с цитированием

Реклама
Старый 07.01.2019, 11:28   #2
Mr.Friction
Аспирант
 
Аватар для Mr.Friction
 
Регистрация: 10.03.2007
Адрес: Kiev
Сообщений: 242
Репутация: 8569

По умолчанию Re: Яндекс бот преследует не подетски.

Вот интересно неужели в первый раз с таким столкнулись?
Это вечная беда сайтостроителей.
Рецепт: оптимизация медленных запросов, кеш, быстрые винты.
Например мне пришлось оптимизировать запросы, перевезти базы на NVME включить фейлтубан, застаканить сфинкс и т.д. и это при том что сервак на 24 ядра.
И еще делать надо.

Проблема вечная и нет тут общего решения.

П.с. у меня яша на всех сайтах сканит около 500к страниц в день.
Mr.Friction вне форума   Ответить с цитированием
Старый 07.01.2019, 18:26   #3
LiteCat
Академик
 
Аватар для LiteCat
 
Регистрация: 03.05.2007
Адрес: Южный берег Крыма
Сообщений: 1,356
Репутация: 144997
Отправить сообщение для LiteCat с помощью ICQ

По умолчанию Re: Яндекс бот преследует не подетски.

1. VPS/VDS, база на 100% в памяти, кеш. Лучше самописный движок
2. Ограничение нагрузки ботом, не сразу, но сработает

Первое - предпочтительнее

PS: была атака, когда боты/парсеры маскировались под Яндекс - проверьте IP, может и правда. Тогда всё элементарно - блокировать по IP или иным признакам
LiteCat вне форума   Ответить с цитированием
Старый 07.01.2019, 21:35   #4
LevShliman
Аспирант
 
Аватар для LevShliman
 
Регистрация: 03.09.2018
Сообщений: 150
Репутация: -5614
Социальные сети Профиль в LinkedIn

ТопикСтартер Re: Яндекс бот преследует не подетски.

Цитата:
Сообщение от LiteCat Посмотреть сообщение
1. VPS/VDS, база на 100% в памяти, кеш. Лучше самописный движок
2. Ограничение нагрузки ботом, не сразу, но сработает

Первое - предпочтительнее

PS: была атака, когда боты/парсеры маскировались под Яндекс - проверьте IP, может и правда. Тогда всё элементарно - блокировать по IP или иным признакам
заблокировал яндекс бота сейчас полностью-нагрузка сразу упала-пришлось выбирать между яндексом или моим сайтом.
LevShliman вне форума   Ответить с цитированием
Старый 07.01.2019, 21:51   #5
burunduk
Super Moderator
 
Аватар для burunduk
 
Регистрация: 09.01.2007
Сообщений: 17,677
Репутация: 2296757

По умолчанию Re: Яндекс бот преследует не подетски.

Цитата:
Сообщение от LevShliman Посмотреть сообщение
Я вчера колдовал и в вебмастере понизил скорость обхода яндекса и в файле роботс поставил для Яндекса не более 1 запроса в 20 сек
это уже давно не работает - для этого есть настройки в вебмастере
__________________
По многочисленным просьбам шаблон для сайта оптимизированный для продвижения
правильный конструктор сайтов
burunduk вне форума   Ответить с цитированием
Старый 07.01.2019, 22:06   #6
LevShliman
Аспирант
 
Аватар для LevShliman
 
Регистрация: 03.09.2018
Сообщений: 150
Репутация: -5614
Социальные сети Профиль в LinkedIn

ТопикСтартер Re: Яндекс бот преследует не подетски.

Цитата:
Сообщение от burunduk Посмотреть сообщение
это уже давно не работает - для этого есть настройки в вебмастере
по настройке скорость обхода сделал на самую низкую,но толка ноль
LevShliman вне форума   Ответить с цитированием
Старый 07.01.2019, 23:11   #7
Mr.Friction
Аспирант
 
Аватар для Mr.Friction
 
Регистрация: 10.03.2007
Адрес: Kiev
Сообщений: 242
Репутация: 8569

По умолчанию Re: Яндекс бот преследует не подетски.

Заблокировать бота яндекса - это ЖИР!
А так в роботсе ещё жирнее:
User-agent: *
Disallow: /

Вообще никто грузить не будет..... Хотя нет... лучше в .htaccess прописать:
order deny,allow
deny from all

Ну а вообще ОПТИМИЗИРОВАТЬ ЗАПРОСЫ........ Отрубать не нужное, смотреть по каким страницам ходит яша (может по дублям).

---------- Добавлено 08.01.2019 в 00:14 ----------

Цитата:
Сообщение от LiteCat Посмотреть сообщение
база на 100% в памяти
А вот тут можно поподробнее?
У меня базы по 5-8 гигов (памяти что говна....) индексы в памяти висят, но вот как всю базу в память? Типа сделать тип таблиц мемори?, и потом по крону на диск сбрасывать, чтоб не было ахтунг или как?
Mr.Friction вне форума   Ответить с цитированием
Сказали спасибо:
Старый 07.01.2019, 23:15   #8
LEOnidUKG
『 Работаем 』
 
Аватар для LEOnidUKG
 
Регистрация: 25.11.2006
Адрес: Интернет
Сообщений: 21,988
Репутация: 1932950
Отправить сообщение для LEOnidUKG с помощью ICQ

По умолчанию Re: Яндекс бот преследует не подетски.

Цитата:
Типа сделать тип таблиц мемори?,
Достаточно сделать InnoDB и выделить достаточный innodb_pool
LEOnidUKG вне форума   Ответить с цитированием
Сказали спасибо:
Старый 07.01.2019, 23:24   #9
LiteCat
Академик
 
Аватар для LiteCat
 
Регистрация: 03.05.2007
Адрес: Южный берег Крыма
Сообщений: 1,356
Репутация: 144997
Отправить сообщение для LiteCat с помощью ICQ

По умолчанию Re: Яндекс бот преследует не подетски.

Цитата:
Сообщение от Mr.Friction Посмотреть сообщение
У меня базы по 5-8 гигов (памяти что говна....) индексы в памяти висят, но вот как всю базу в память? Типа сделать тип таблиц мемори?, и потом по крону на диск сбрасывать, чтоб не было ахтунг или как?
У меня есть проект с базой на 40+ ГБ, RAM сервера - 64. Сделано InnoDB с кешем 40 гб, почти вся база попадает в RAM и работает оооочень быстро

---------- Добавлено 07.01.2019 в 23:26 ----------

Цитата:
Сообщение от LEOnidUKG Посмотреть сообщение
Достаточно сделать InnoDB и выделить достаточный innodb_pool
Да-да, именно это
LiteCat вне форума   Ответить с цитированием
Старый 07.01.2019, 23:39   #10
Mr.Friction
Аспирант
 
Аватар для Mr.Friction
 
Регистрация: 10.03.2007
Адрес: Kiev
Сообщений: 242
Репутация: 8569

По умолчанию Re: Яндекс бот преследует не подетски.

Так у InnoDB беда с счётчиками.
Mr.Friction вне форума   Ответить с цитированием
Ответ

Метки
яндекс бот




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 08:35. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны