- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Подскажите что надо прописать в .htaccess чтоб запретить индексацию файлов с расширением txt всем поисковикам.
прописать в .htaccess чтоб запретить индексацию
Может быть имелось ввиду «в robots.txt»?
user-agent: *
disallow: /*.txt$
Имено хочу через .htaccess
user-agent: *
disallow: /*.txt$
И кто же у нас понимает * и $ ? Яндекс? Рамблер?
Имено хочу через .htaccess
О, мсье знает толк в извращениях ! ;)
Наверное надо отдавать код 404 на все запросы.
И кто же у нас понимает * и $ ? Яндекс? Рамблер?
О, мсье знает толк в извращениях ! ;)
Наверное надо отдавать код 404 на все запросы.
Только ботам
.htaccess
Если надо другие поисковые системы которые не указывает Crawler в User Agent то допиши До их список:
Если какие то поисковики маскируют User Agent можно добавлять их диапазоны, 100% результат не достич но все основные поисковики можно так отфильтровать
чтоб как можно больше отфильтровать поисковиков надо в .htaccess прописать
RewriteCond %{HTTP_USER_AGENT} ^ia_archiver$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*yandex*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*google*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Rambler.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Aport.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*crawler*$ [NC]
RewriteRule ^(.*).txt$ - [F,L]
правильно?
А yandex и google указывают Crawler?
А с чего Вы решили, что Вас вообще будет ктото индексировать? Ни одной внешней ссылки на вас - и не нужно никаких извращений
А вообще - просто отдавайте статусом ответа 404, ie и firefox всеравно отобразят вашу страницу с контентом как 404 страницу, про остальных не скажу - не проверял, может и свою дефолтную покажут какую, хотя врядли, а боты естественно уйдут
а чем отличается запись
RewriteCond %{HTTP_USER_AGENT} ^googlebot.* [NC,OR]от
RewriteCond %{HTTP_USER_AGENT} ^.*google*$ [NC,OR]В первой строка начинается с google.
Во второй строка содержит googlebot.
а такая
RewriteCond %{HTTP_USER_AGENT} ^google [NC,OR]Т.е. какая из этих строк
RewriteCond %{HTTP_USER_AGENT} ^google [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*google*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^googlebot.* [NC,OR]
указывает правило "для всех строк, в котором есть слово google"