- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброго времени суток всем.
Подскажите как запретить поисковику посещать файл robots.txt на конкретной страничке в виде метатега или еще каким способом?
Доступа к robots.txt нет! Домены этих страничек разные, в каждом есть свой robots.txt
Мы занимаемся хостингом и некоторым клиентам автоматически блокируется сайт, по разным причинам...
Вот есть некая заглушка, до сего времени я думал robots.txt будет подтягиваться с директории где оформляется сама заглушка уведомление о блокировке аккаунта на хостинге!
Как оказалось, к заблокированному сайту можно обратиться к файлу robots.txt и загрузится файл клиента, а не тот который я создавал.
В виду невозможности вручную всем заблокированным менять robots.txt а потом восстанавливать при разблокировке, есть ли мета-тег который запрещает обращаться к robots.txt по мимо:
<meta name="robots" content="noindex, nofollow"> ???
Запрещайте на уровне сервера доступ к файлу / сайту.
Конкретного файла для странички нет. Есть файл для всего сайта в целом. Поэтому Ваш вопрос мне не очень понятен.
proweb.com.ua, "клиенты" как хостятся? Просто страничка на сайте или поддомен?
И какова задача - удалить из индекса? Или что-то еще?
Lichkin-rus, эта заглушка, которая говорит, что сайт клиента заблокирован, находится вне сайта компании!
Но на ней есть ссылки ведущие на сайт компании, чтоб клиенту было удобно понять что делать дальше, к кому обращаться.
Везде стоит ноиндекс, нофолов, но в вебмастере часто замечаю страницы которых у нас на сайте никогда небыло и по ним код 404!
у нас таких страниц никогда в жизни не было :)
easywind, когда сайт работает в нормальном режиме всё хорошо, как только клиент что-то нарушил или не заплатил его сайт блокируется и серверв выдает страницу которая ни у клиента нет, ни у нас на сайте, а отдельно на сервере. Там же я прописал роботс файл с директивой дисайблед всё, но как выяснилось сервер почему-то все страницы блокирует кроме файлов txt.
Пробовал с htaccess тоже не помогает...
---------- Добавлено 06.01.2015 в 21:38 ----------
раньше ж вроде указывался метатег где находится роботс тхт разве нет?
Просто сейчас он не обязателен...
Так вот можно как-то в нем указать адрес с http на наш сайт или запретить вовсе?
proweb.com.ua, если при блокировке доступна только заглушка, то и пусть роботс берет. Все равно вместо страниц заглушка.
Мне кажется вам в раздел хостеров обратится нужно. тут оптимизация больше :)
раньше ж вроде указывался метатег где находится роботс тхт разве нет?
А он может быть в каких-то труднодоступных местах? :D
Просто сейчас он не обязателен...
Спасибо, не знал.
я так понял смысл темы в нескольких ссылках из подписи??😂
kimberlit, Gennadi, я оценил Ваш стёб, спасибо!
kimberlit, Gennadi, я оценил Ваш стёб, спасибо!
ну я старпост тоже заценил😂 не за что😂
kimberlit, Gennadi, я оценил Ваш стёб, спасибо!
Стёб - это когда владелец хостинга пишет:
серверв выдает страницу которая ни у клиента нет, ни у нас на сайте, а отдельно на сервере. Там же я прописал роботс файл с директивой дисайблед всё, но как выяснилось сервер почему-то все страницы блокирует кроме файлов txt.
Пробовал с htaccess тоже не помогает...
kimberlit, да представьте себе стандартные средства они таковы!
Я понимаю на, что Вы намекаете, но я не привык делать костыли и заплатки на сервере, которые со временем при обновлении ПО могут вернуться.
Потому спрашиваю про СЕО о СЕО !!! Разве не понятно?