- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Необходимо запретить просмотр файла robots.txt в браузере с помощью файла htaccess,
но что-бы это не повлияла на работу роботов поисковиков.
Как это можно реализовать?
IP ботов прописать
Можете по наличию реферера смотреть: если есть - то не показывать.
А зачем оно Вам?
Это называется cloaking. За это банят.
Это называется cloaking. За это банят.
Смотря что задумал топикстартер, но судя по всему ничего хорошего
Смотря что задумал топикстартер, но судя по всему ничего хорошего
Что в этом не хорошее если я нехочу что-бы просматривали robots.txt в браузере?
тот кому надо просмотреть - всегда это сможет сделать
Блин я поражаюсь что здесь за люди....
Спросил как защит файл robot.txt от просмотра в браузере , так моментально репа резко в минус ушла.
Необходимо закрыт это файл от конкурентов у которых в robots.txt до фига ошибок и сайты не индексятся из-за этого.
Где гарантия что конкуренты неоткроют мой файл robots.txt в браузере и не скопоруют его.
Кто-то сдесь писал что
Причем здесь cloaking и robots.txt ?
Клоакинг-это методика отображения роботу поисковой системы оптимизорованной страницы вместо той страницы,которую видят юзверы при просмотре сайта.
Shema
Вы что юзверам показывете роботс?
Master_globus
клоакинг - да, так и есть. Вы хотите юзеру показывать один файл (или не показывать его), а поисковику - другой.
Из технического решения - php, который в зависимости от IP [это уже у клоакеров надо список свежих ip регулярно обновлять]) будет выдавать файл или выдавать пустышку.
и mod_rewrite под это дело заюзать, видимо, придется.
имхо в роботс не может быть ничего секретного по определению.
еще как может. Помойку закроют, урл админки etc :)
Это называется cloaking. За это банят.
были прецеденты бана за закрытие robots.txt?
ТС, действительно интересный вопрос.
Метатег запрещающий индексацию страницы:
<META NAME="ROBOTS" CONTENT="NOINDEX">
А роботс.тхт, если он есть и доступен для всех роботов скрыть не удастся.
Поисковики не любят, клоакинг, поэтому меняют IP роботов, поэтому разрешение по IP не выход, тока проблем себе наживёте.
Удаляйте из роботс всё что надо скрыть и вставляйте в страницы теги.
Кстати например картинки для админки, если они в папке самой админки надо будет перенести в другую папку...