- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
На сервере несколько сайтов при генерации страниц используют большие базы данных. В общей сложности таких страниц на этих сайтах более миллиона. В панели вебмастера гугла (WMT) выставил не высокую скорость, и всё гуд.
Сейчас bingbot с ума сошёл. В секунду стал скачивать про несколько таких страниц с каждого такого сайта. Загрузка mysql на сервере держится порядка 50%, но бывают скачки до 90-100%. Уже раз слетала база, приходилось перезагружать.
Есть ли способ как-то умерить апетит бингботу? Полный запрет не подходит. Нужно именно снизить скорость индексации/переиндексации. Можно ли как-то реализовать подобное?
__________________Все посетители живые, не боты. (http://livesurf.ru/promo/80271)
Конечно есть. Например отдавать ему страницы через nginx медлееенооо.
Crawl-Delay не помогает?
Crawl-Delay не помогает?
А это что за штука? Где она и как работает?
http://ru.wikipedia.org/wiki/Стандарт_исключений_для_роботов
Crawl-delay: устанавливает время, которое робот должен выдерживать между загрузкой страниц. Если робот будет загружать страницы слишком часто, это может создать излишнюю нагрузку на сервер. Впрочем, современные поисковые машины по умолчанию задают достаточную задержку в 1-2 секунды.
User-agent: *
Crawl-delay: 10
Crawl-delay: устанавливает время, которое робот должен выдерживать между загрузкой страниц.
User-agent: *
Crawl-delay: 10
Спасибо, попробую.
Что мешает поместить эти огромные выборки в кеш и отдавать их миллионами?
Кстати, попробовал такой вариант
Request-rate: 1/5
Visit-time: 0700-0200
Гугл пишет - Синтаксис не распознается.
И ещё... оказывается AhrefsBot вообще игнорирует robots.txt
Что мешает поместить эти огромные выборки в кеш и отдавать их миллионами?
У меня не доры-многостраничники а живые сайты с динамичным контентом.