- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Посмотрел недавно robots.txt одного известного сайта и обнаружил такую конструкцию...
Disallow: /
В чем ее смысл?
Неужели это убережет от скачивания сайтов различными оффлайн-браузерами?
Можно ли ее применить по отношению к сборщикам e-mail?
В настройках Teleport есть раздел - кем представляться, по умолчанию - собой.
То есть если скачиватель не лез в настройки - а большинство и не знает где они, то такая запись - поможет. Уже легче.
В настройках Teleport есть раздел - кем представляться, по умолчанию - собой.
То есть если скачиватель не лез в настройки - а большинство и не знает где они, то такая запись - поможет. Уже легче.
Хм... не уверен. То есть вы хотите сказать, что такие программы запрашивают файл robots.txt и слушаются его?
А про сборщики мыла как думаете... прокатит?
Нет. Во-первых robots.txt "известного сайта" составлен неверно, по стандарту в User-Agent можно записывать только одного агента, либо всех сразу с помощью "*". А во-вторых, точно не знаю, но очень сомневаюсь что эти "качалки" вообще будут запрашивать robots.txt :)
Нет. Во-первых robots.txt "известного сайта" составлен неверно, по стандарту в User-Agent можно записывать только одного агента, либо всех сразу с помощью "*".
Ну не знаю. Известный сайт - это be1.ru.
Ура! Такая конструкция действительно работает. Не поленился, скачал этот TeleportPro версии 1.29.
Пробую с нормальным роботсом - сайт скачивается без проблем.
Добавляю конструкцию - ничего не выходит. Скачивается один index.html.
Думаю это работает и для других оффлайн браузеров.
Эх... жаль не могу проверить на сборщиках e-mail по причине их отсутствия.
Буду ставить эксперимент на юзер-агентах этих сборщиков. Сообщу на форуме.
разработчики программ могут в принципе это сделать.
нет