- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем привет, подскажите пожалуйста, как можно запретить поисковикам индексировать сайт полностью?
Просто пока сайт на стадии разработки и не хотелось бы что бы он начал индексироваться...
и скажите как потом разрешить поисковикам индексировать сайт, после того как он будет окончательно сделан..?)
Сайт на DLE 8.2
знаю что через htaccess можно..но как
Заранее спасибо
в robots.txt написать:
в .htaccess прописать:
SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot
Запрет остальных ботов:
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Snapbot" search_bot
SetEnvIfNoCase User-Agent "^WordPress" search_bot
SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot
Хотя, проще в robots.txt все таки
у меня пока нет файла роботс.. а можно вот таким способом...
Вписать в шаблон main.tpl в шапку мета тег
В таком случае запрет будет ко всему сайту?
у меня пока нет файла роботс.. а можно вот таким способом...
Вписать в шаблон main.tpl в шапку мета тег
В таком случае запрет будет ко всему сайту?
некоторые поисковики игнорируют данную строчку
у меня пока нет файла роботс..
так создайте :)
это обычный текстовый файл и в нем напишите только эти две строчки.
некоторые поисковики игнорируют данную строчку
ну в принципе интересуют только 2 ПС Яндекс и Гугл...
как они отреагируют на этот тег?
у меня пока нет файла роботс..
А что собственно мешает его создать ?
А что собственно мешает его создать ?
ну просто в файл роботс я буду добавлять после другие строчки,с которыми нужно будет разобратся..
ну тогда я понимаю,что лучший вариант это через роботс?
а после когда сайт будет доделан, просто убрать эти 2 строчки и все ?))))
как они отреагируют на этот тег?
Адекватно
И ТС, если сайт новый и его не добавляли в ПС через аддурл, то вам не стоит боятся
ну просто в файл роботс я буду добавлять после другие строчки,с которыми нужно будет разобратся..
ну тогда я понимаю,что лучший вариант это через роботс?
а после когда сайт будет доделан, просто убрать эти 2 строчки и все ?))))
Все поисковики регулярно проверяют роботс, так что после можно будет просто удалить файл или обновить его содержимое.