- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Народ такой вопрос, если я напишу в роботс:
User-agent: TelePort Pro
Disallow: /
То не получетьчся скачать сайт?
А вы не вкурсе, просто у меня в логгах это есть:
Firebird
LibWWW
Это программы скачки сайта тоже?
Не так не получится.
Меня тоже этот вопрос интересует. Вот что я нашел
http://php.spb.ru/other/_dima_noflood.php
Не так не получится.
Почему?
Если указывать версию телепорта (Teleport Pro 1.29 к примеру), то работает точно, а так - не знаю...
Для Телепорта пользователь может отключить опцию учитывания robots.txt
И качалок и без Телепорта существует немеряно.
Давно здесь ета тема довольно детально обговаривалась. Помню, были варианты отсекать большой поток запросов а также следить за переходом UA по невидимым человеческому глазу ссылкам и в случае выявления блокировать.
Каширин, а как сделать то?
toxa, у меня и так нагрузка из-за посешаемости большая, а тут я еще и его подключу, не нада через роботс!
а как сделать то?
Я вот недавно видел на одном известном ресурсе такой код в robots.txt
И вроде вся эта запись противоречит стандартам... однако ничего - работает. И оффлайн-браузеры не достают.;)
Да у меня в логахз написано что каждый день меня качают!
И написано просто Teleport Pro
А вот мне непонятен сам вопрос, а зачем блокировать? Разве плохо, что люди хотят скачивать сайт? Значит эта информация им нужна. А запретить ее добыть все равно не реально, мне кажется....
"Разве плохо, что люди хотят скачивать сайт?"
Есть верятность того, что например появится сайт-клон с вашим неного измененным контентом. Полностью исключить утечку информации невозможно. Есть Java скрипты шифрующие html страницы, но и в этой "защите" есть дырки ;-)
Я вот недавно видел на одном известном ресурсе такой код в robots.txt
Это и есть рулез. Каким таким стандартам это противоречит?
Кстати, может и качалок немеряно, может и вручную можно контент перелить, а только заблокировав самые популярные качалки, вы от 95% воришек застрахуетесь...