- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Когда-то на этом форуме читал, как с помощью robots.txt ограничить количество одновременно забираемых Яндексом страниц с сайта, но сейчас не могу найти. Подскажите, пожалуйста.
Вообще то по моему это делается с помощью .htaccess. Роботс.тхт тут ни при чем.
Но по моему ограничивать поисковику лимит забираемых страниц не самое правильное решение. Тут люди "молятся" и "шаманят", чтоб он только почаще заходил ;)
Поставь лимит на кол-во подключений с опеределенного ип.
Вообще то по моему это делается с помощью .htaccess. Роботс.тхт тут ни при чем.
Но по моему ограничивать поисковику лимит забираемых страниц не самое правильное решение. Тут люди "молятся" и "шаманят", чтоб он только почаще заходил ;)
С помощью .htaccess можно целиком закрыть доступ к сайту\файлам. Я же хочу уменьшить количество нагрузки, создаваемой ботами Яндекса на форум.
На сервере много чего еще крутится и я готов пожертвовать некой частью пользователей, приходящих с Яндекса.
Но, здесь где-то был совет не как целиком запретить индексацию, а как бы "растянуть" ее по времени.
Поставь лимит на кол-во подключений с опеределенного ип.
И отлавливать все ip Яндекса?
а crawl-delay только для Yahoo работает?
В теории, можно настроить If-modified-since для динамики, тогда робот не будет индексировать одно и то же по восемь раз, а будет брать только HEAD для старых документов. На практике не сталкивался с такой задачей. Ну, еще сессии правильно настроить. Короче, убрать из индексации то, что не надо индексировать. Ограничение по IP кажется мне довольно ненадежным и кривоватым решением.