- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброго всем времени суток!
--------------------------------------
Задача: склеить зеркала
Решение:
User-agent: *
Host: somesite.ru
Disallow:
Правильно?
И для всех ли (имеется в виду поисковики G. R. A.)?
Всем спасибо!
romanov, правильнее так:
В коде есть ответ и на втрой вопрос :)
AiK, вопрос №2 не правильно понят:
User-agent: Yandex/1.03.000
Disallow:
Host: somesite.ru
User-agent: StackRambler
Host: somesite.ru
Disallow:
User-agent: Aport
Host: somesite.ru
Disallow:
И для остальных:
User-agent: *
Disallow:
Я имел в виду остальная часть русской тройки также воспримет этот robots.txt (Host: somesite.ru)?
С Я и так все ясно.
Host - это исключительно директива Я.
Г - склеит.
Р - стоит написать в саппорт
А - см. Р
romanov,
1. Директива Host должна идти после всех директив Disallow
2. Директиву Host поддерживает только Яндекс, на что AiK и намекал.
Host - это исключительно директива Я.
Г - склеит.
Р - стоит написать в саппорт
А - см. Р
Вот!Это-то и я имел в иду.
Просто хотелось уточнить (чтоб на 100%)
Всем огромное спасибо!
romanov, если ты ничего от роботов закрывать не собираешься, то подойдёт и твой вариант из первого сообщения. А если что-то хочешь закрыть, то запреты для Яндекса нужно дублировать в отдельной секции. В противном случае твой вариант будет равносилен записи:
потому, что если секция оформлена неверно (а добавление директивы host стандартом не предусмотрено), то робот вправе считать, что её не существует.
AiK,спасибо,это знаем...
Мне надо было уточнить отношение остальных к host.
возможно вопрос глуповат, но все же
у меня есть два сайта, раньше был один, потом он плавно переехал на новый домен, но тИЦ первого терять не хочеться (хоть он и падает, т.к. на этом сайте уже ничего нет) - предположим http://1.ru и http://2.ru
я переехал на http://2.ru
вот сам вопрос:
robots.txt должен быть на http://2.ru?
его содержание должно быть
Disallow:
User-agent: Yandex Disallow:
Host: 1.ru
?
r09er, robots.txt должен быть идентичным на обоих сайтах. Иначе бы ты мог приклеивать себе чужие домены. Да и зеркала это или нет в конце концов? :)
Прописывать нужно главное зеркало, т.е. 2.ru. И не записывать директивы в одну строку.
Есть тут одна тонкость - вообще-то данная деректива это только подсказка для зеркальщика. Если сайты сильно различаются (а ты пишешь, что на старом уже ничего нет), то и склеивать зеркальщик может не захотеть. Но это нужно проверять на опыте, так как я зеркалил сайты процентов на 70 похожие.