- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
сам не разбирусь, нужна помощь, параллельно изучаю документацию по robots.txt
задача:
- закрыть сайт от всех ботов кроме
-- яндекса
-- rambler, google (сделать так чтобы они посещали сайт раз в 30 дней)
- на данный момент стоит robots.txt выписанный из одно топика на этом форуме, закрывающий всем ботам-паразитам доступ, однако судя по статистике сайта большую часть трафика жрут именно эти гады, у меня трафик платный не хотелось бы переплачивать!
Пожалуйста подскажите, как правильно реализовать задачу?
ps. сори если не туда запостил раздела подходящего не нашел!
1. С помощью роботса, вы можете только разрешать и запрещать индексирование определенных разделов сайта как для всех роботов, так и для каждого отдельно.
2. Управлять временем посещения и индексации и т.д. возможности нет (может быть ПОКА нет).
3. И вообще от ВСЕХ БОТОВ с помощью robots.txt закрыть точно не удастся. Поскольку только некоторые боты уважают владельцев сайта и слушаются того, что прописано в robots.txt (одни из таких послушных, как раз те, которых вы и хотите оставить ;) )
Если у вас жрется много трафа, то не легче ли на нормальный хостинг сайт выложить?! А то ведь, если еще и посетители из поисковиков попрут, то вообще так разориться можно ;)
Изучайте еще:
http://www.rambler.ru/doc/robots.shtml
http://webmaster.yandex.ru/faq.xml?id=996583 (под яндекс, есть некоторые особенности, дополнительные директивы)
ЗЫ.
Если вы знаете имена ботов, которые вас постоянно теребят и нагоняют траффик ;), то можно полностью запретить им доступ к сайту с помощью .htaccess
как узнать имена ботов?
вот скрин статистики по сайту на 3 января, как видно большинство трафика жрут какие-то бесполезные пауки, яндекс и google жрут в меру. Посетителей не боюсь, если они будут значит и возрастет польза и прибыль от сайта!
изучаю методы с robots далее...
2. Управлять временем посещения и индексации и т.д. возможности нет (может быть ПОКА нет).
можно сделать задержку перед "съеданием" каждой страницы. Точно директиву не помню, но кажется delay. Понимают ли её все боты - это уже отдельный вопрос. Но более-менее цивилизованные, имхо, понимают.
Apalon, поищите по СЕ по моему нику я давал взятый, кажется, с форума firstvds.ru роботс где был запрет для большой кучи западных роботов.
- закрыть сайт от всех ботов кроме
-- яндекса
-- rambler, google
нереально, не все боты используют robots.txt
Ботам дествительно паразитам, абсолютно параллельно, что Вы там напишете в robots.txt.
Если не хотите пускать на сайт кого-то, например роботов, блокируйте им доступ к сайту с помошью настроек сервера.