- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте,
Домен на основную версию проекта например такой: project.ru
Я не сижу с программистами и не могу локально (вместе сними) тестировать их последние работы. Пришлось залить тот же самый проект на домен: test.project.ru.
Я оказался несколько наивным по отношению к поисковым систем. несмотря на то, что присутствуют метатеги nofollow и noindex - страницы тестового сервера все же индексируются поисковиками, и более того, они даже выдаються на определенные запросы!
Вот что указанно в robots.txt
User-agent: Mediapartners-Google
Disallow:
Allow: /*
User-Agent: Yandex
Disallow: /cms/
Disallow: /reg/
Disallow: /search/
Disallow: /catalog
Disallow: /feedback
Disallow: /*&limit
Disallow: /*pishite_nam
Disallow: /*help
Disallow: /*review
Disallow: /ads/?id_rss=
Disallow: /*qsearch
Host: project.ru
User-Agent: Googlebot
Disallow: /cms/
Disallow: /reg/
Disallow: /search/
Disallow: /catalog
Disallow: /feedback
Disallow: /*&limit
Disallow: /*pishite_nam
Disallow: /*help
Disallow: /*review
Disallow: /ads/?id_rss=
Disallow: /*qsearch
User-agent: msnbot
Disallow: /cms/
Disallow: /reg/
Disallow: /search/
Disallow: /catalog
Disallow: /feedback
Disallow: /*&limit
Disallow: /*pishite_nam
Disallow: /*help
Disallow: /*review
Disallow: /ads/?id_rss=
Disallow: /*qsearch
Как можно работать с тестовым доменом проекта так, чтобы поисковики не индексировали и вообще мимо проходили через него?
Есть одна идея: ограничить доступ паролем..
Что мне делать?
Отдавайте 404 ответ всем ip адресам кроме вашего.
Делается с помощью .htaccess
страницы тестового сервера все же индексируются поисковиками
Что не удивительно, ибо роботс составлен не правильно.
Как можно работать с тестовым доменом проекта так, чтобы поисковики не индексировали
Ямануал гласит:
Это собсно всё содержимое роботса.
Однако роботс - это всего лишь рекомендация ПСам. Они всё равно гуляют по сайту и индексируют (но в выдачу могут не давать). Надёжнее будет ограничить доступ скажем только с определённых ИП (своих) или да, по паролю.
Отдавайте 404 ответ всем ip адресам кроме вашего.
503 правильнее будет
Что не удивительно, ибо роботс составлен не правильно.
Ямануал гласит:
Это собсно всё содержимое роботса.
Однако роботс - это всего лишь рекомендация ПСам. Они всё равно гуляют по сайту и индексируют (но в выдачу могут не давать). Надёжнее будет ограничить доступ скажем только с определённых ИП (своих) или да, по паролю.
503 правильнее будет
Помогите пожалуйста правильно составить robots
я на денвере всё тестирую, чтоб не попадать в подобные ситуации...
я на денвере всё тестирую, чтоб не попадать в подобные ситуации...
Денвер всё не покажет, начиная от настройки прав, заканчивая скоростью загрузки и прочего, проще на сервере.
Может IP Пс-ботов залочить?
я на денвере всё тестирую, чтоб не попадать в подобные ситуации...
Что это такое? Подскажите чуть поподробнее, пожалуйстаю
Nomiki, согласен, всё зависит от поставленных целей...
А тупо закрыть сайт (типа тех.работы)? Поисковики не пролезут по идее...
---------- Добавлено 08.07.2012 в 22:08 ----------
Misha_Krasnodar, вот тут посмотрите, может вполне подойдёт для ваших целей...
А тупо закрыть сайт (типа тех.работы)? Поисковики не пролезут по идее...
Не пойдет, его же тестить и править вживую надо. Плюс убрать проиндексированные страницы из поддомена.
Что это такое? Подскажите чуть поподробнее, пожалуйстаю
Эмулятор реального хостинга на локальной машине, простая, удобная и полезная вещь: http://www.denwer.ru/about.html
Собственно, бесплатная и ставится в три клика, так что поюзайте обязательно.
Помогите пожалуйста правильно составить robots
выше же дал полный робост. См внимательно.
Надёжней закрыть сайт, кинув в .htaccess (создать этот файл если его нет) строки:
Allow from 123.123.123.123
Allow from 155.155.155.155
,где в Allow from перечислены свои ИП-адреса.
Что это такое?
denwer.ru
Может IP Пс-ботов залочить?
Фиговый и ненадёжный путь. Они могут меняться (количественно и "качественно") и использовать всякие юзер-бары ;)
SeVlad, согласен, больше гемора получится.
Этот все же тру:
Надёжней закрыть сайт, кинув в .htaccess (создать этот файл если его нет) строки:
Deny from all
Allow from 123.123.123.123
Allow from 155.155.155.155
,где в Allow from перечислены свои ИП-адреса.