- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть сайт с автонаполнением и почему то он пользуется популярностью у Яндекса.Все темы в индексе.Яндекс бот прямо живёт на сайт одновременно сканирует 40- -50 страниц.Всё бы хорошо,но на днях резко выросла нагрузка на хостинг раз в 50.Нагрузка идёт не на количество процессов,как например ,когда много ботов смотрит сайт,а именно нагрузка на потребление процессора.
Я вчера колдовал и в вебмастере понизил скорость обхода яндекса и в файле роботс поставил для Яндекса не более 1 запроса в 20 сек,но думаю,что это мало помогает и сайт на клоудфаре перенёс.Нагрузкак на хостинг подупала,но всё равно в норму не пришла.Сайт на вордпресс.Может как связано это и с переходом на новую версию вордпресса или тут не разобрать,может какой плагин такую нагрузку даёт и яндекс бот тут не причём.
Вот интересно неужели в первый раз с таким столкнулись?
Это вечная беда сайтостроителей.
Рецепт: оптимизация медленных запросов, кеш, быстрые винты.
Например мне пришлось оптимизировать запросы, перевезти базы на NVME включить фейлтубан, застаканить сфинкс и т.д. и это при том что сервак на 24 ядра.
И еще делать надо.
Проблема вечная и нет тут общего решения.
П.с. у меня яша на всех сайтах сканит около 500к страниц в день.
1. VPS/VDS, база на 100% в памяти, кеш. Лучше самописный движок
2. Ограничение нагрузки ботом, не сразу, но сработает
Первое - предпочтительнее
PS: была атака, когда боты/парсеры маскировались под Яндекс - проверьте IP, может и правда. Тогда всё элементарно - блокировать по IP или иным признакам
1. VPS/VDS, база на 100% в памяти, кеш. Лучше самописный движок
2. Ограничение нагрузки ботом, не сразу, но сработает
Первое - предпочтительнее
PS: была атака, когда боты/парсеры маскировались под Яндекс - проверьте IP, может и правда. Тогда всё элементарно - блокировать по IP или иным признакам
заблокировал яндекс бота сейчас полностью-нагрузка сразу упала-пришлось выбирать между яндексом или моим сайтом.
Я вчера колдовал и в вебмастере понизил скорость обхода яндекса и в файле роботс поставил для Яндекса не более 1 запроса в 20 сек
это уже давно не работает - для этого есть настройки в вебмастере
это уже давно не работает - для этого есть настройки в вебмастере
по настройке скорость обхода сделал на самую низкую,но толка ноль
Заблокировать бота яндекса - это ЖИР!
А так в роботсе ещё жирнее:
User-agent: *
Disallow: /
Вообще никто грузить не будет..... Хотя нет... лучше в .htaccess прописать:
order deny,allow
deny from all
Ну а вообще ОПТИМИЗИРОВАТЬ ЗАПРОСЫ........ Отрубать не нужное, смотреть по каким страницам ходит яша (может по дублям).
---------- Добавлено 08.01.2019 в 00:14 ----------
база на 100% в памяти
А вот тут можно поподробнее?
У меня базы по 5-8 гигов (памяти что говна....) индексы в памяти висят, но вот как всю базу в память? Типа сделать тип таблиц мемори?, и потом по крону на диск сбрасывать, чтоб не было ахтунг или как?
Достаточно сделать InnoDB и выделить достаточный innodb_pool
У меня базы по 5-8 гигов (памяти что говна....) индексы в памяти висят, но вот как всю базу в память? Типа сделать тип таблиц мемори?, и потом по крону на диск сбрасывать, чтоб не было ахтунг или как?
У меня есть проект с базой на 40+ ГБ, RAM сервера - 64. Сделано InnoDB с кешем 40 гб, почти вся база попадает в RAM и работает оооочень быстро
---------- Добавлено 07.01.2019 в 23:26 ----------
Достаточно сделать InnoDB и выделить достаточный innodb_pool
Да-да, именно это
Так у InnoDB беда с счётчиками.
Так у InnoDB беда с счётчиками.
В 2011 году то? Наверное да. MyIsam устарел и уже не является поддерживаемой системой, все уже давно сидят на InnoDB. Конечно если у вас не старый Mysql версии 5.1 :)
Все современные CMS идут на InnoDB ни у кого проблем нет.