- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Раньше по 5000-10000 хитов в день делал, а сейчас по 40-50 тыщ.
Как только очищаю кеш и заново переиндексирую опускается до обычных 2-3 к. Забываю до 15 к. доходит. "битрикс"
Вы лучше покажите что у вас бешеный бот вебальта делает :)
Впечатляет, 1700 новых статей в день, я такого еще не видывал нигде.
ЭТО ВСЕГО НА САЙТЕ!
Как только очищаю кеш и заново переиндексирую опускается до обычных 2-3 к. Забываю до 15 к. доходит. "битрикс"
Вы лучше покажите что у вас бешеный бот вебальта делает :)
В
Вебальта как не странно нормально индексирует. по где то 6000-8000 хитов в день.
Меняйте по крону robots.txt. Пару дней пожрал, потом разгрузочная неделя :)
Сильно не советую так делать. Есть печальный опыт, когда гугл обиделся, и месяц не хотел приходить.
Сильно не советую так делать. Есть печальный опыт, когда гугл обиделся, и месяц не хотел приходить.
Я же не предлагаю запрещать весь сайт индексировать, у меня много каталогов запрещено и не обижается. Можно просто ставить временные запреты индексирования на самые большие каталоги.
Это нормально, у всех так. Но временно закрывать нужные (которые обычно не закрыты) не стоит!
Блин мне бы твои проблемы... Я бы плясал если бы он дорвеи так кушал, поделитесь тайной что нужно для этого делать?
имхо - корректный способ ограничить нагрузку от такого бота:
1-отдавать правильный Last Modified хедер для документов и тем форума (по реальной дате последнего изменения).
2- в случае запроса роботом с хедером If-Modified-Since со слишком новой датой отдавать 304 заголовок. ( типа не менялось с такой-то даты )
Способ 2 пока не испробовал, повода не было, но пожалуй внедрю, полезно... Способ 1 точно работает, активность бота постепенно снижается. Можно для старых документов раз в пару месяцев обновлять дату последнего изменения, чтоб робот (и всякие прокси) зашёл ещё разок и проиндексировал меню.
исчерпывающая информация по If-Modified-Since
http://xpoint.ru/know-how/VebAlgoritmyi/ConditionalGet?comments