- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
вообще Crawl-delay
Директива Crawl-delay для этого есть.
Напишите в нем запрет для робота Яндекса на обращение к скриптам, которые сильно загружают сервер или ...
Помимо краулера... Они же сами написали:)
Был у меня давным давно один такой форумчик, так я просто сделал так что просматривать его могут только зарегистрировнные пользователи
Если форум на другом домене, то да. А если форум вида site.ru/forum ? То если запрещать все кроме основного сайта, то уже клоакинг как бы выходит...
причём тут вообще клоакинг? клоакинг это кода в индекс одно, а юзеру другое.
Вам уже два человека советовали. :)
Добавьте строчку в роботс.тхт:
Crawl-delay: 5
Бот будет делать паузу при переходах по сайту. Мне помогло внести все странички в индекс и разгрузить хостера.
А вообще наверное это такой сигнал - намек менять хостера, который дохнет от поискового бота в гостях.
любители пофлудить и посоветовать перечитайте вот этот пост ТСа /ru/forum/comment/6141776
или скажите где вообще ТС писал про нагрузку на хостинг или, что трафика жалко ему...
забaнь Яндекс
Купи себе index.ru
причём тут вообще клоакинг? клоакинг это кода в индекс одно, а юзеру другое.
А когда часть страниц сайта юзерам дается, а поисковику не дается это что? :)
А когда часть страниц сайта юзерам дается, а поисковику не дается это что? :)
ну я клоакинг понимаю по другому, как у вики написано... а это всё же разные вещи, когда страница не даётся вообще или даётся с разным содержимым...
ну и яша вот так пишет:
я от него закрываю только форум, там для него много чего криминального
А что именно Вы считаете "криминальным" для Яндекса на своём Форуме?