- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Решил открыть доступ только трем ПС, правильно ли я составил файл robots.txt:
User-agent: Yandex
Disallow: /файл или папка
Host: сайт с www или без www
User-agent: StackRambler
Disallow: /файл или папка
User-agent: Googlebot
Disallow: /файл или папка
User-agent: *
Disallow: /
или где то ошибся?
Правильно.
Всем спасибо за консультацию
Правильно.
Для Яндекса и Google можно еще директиву Sitemap: добавить ;)
а можно этот файл спрятать от посторонних глаз? если да то через .htaccess и .php?
а можно этот файл спрятать от посторонних глаз? если да то через .htaccess и .php?
сайтмап или роботс? вообще по идее по юзерагенту и определять показывать файл или нет. по идее. я не программер врать не буду.
только смысла нет потому как у вас стоит
User-agent: *
Disallow: /
не покажете - попадет сайт в индекс. по идее.
я имел ввиду что бы не показывался реальный файл robots.txt при наборе в броузере - домен/robots.txt
я имел ввиду что бы не показывался реальный файл robots.txt при наборе в броузере - домен/robots.txt
А как же роботы его скачают? Это такие же броузеры, только текстовые.
nuvo, ну тут типа стандартный клоакинг. браузерам одно (либо ничего), поисковикам - другое.
Ctulhu добавил 17.06.2008 в 19:50
Kost, хм, разве нельзя поисоквикам отдавать отличное от того, что отдается браузеру - в зависимости от юзер-агента? O_o
nuvo, ну тут типа стандартный клоакинг. браузерам одно (либо ничего), поисковикам - другое.
об клоакинге думал а если прямой доступ закрыть или не то?
прочитал в одной книжке что можно закрыть от чужих глаз роботс путем создания роботса с расширение пхп и с пропиской директивы в .htaccess, сделал как советуют в книжке но он выдает при наборе - видать где то ошибку допустил.