- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Мне нужно чтобы Яндекс склеил зеркало сайта с главным доменом (чтобы ТИЦ и бэк-линки зеркала передались главному домену) и при этом, чтобы до того как произойдет склейка, зеркало в поисковой выдаче отсутствовало. Собираюсь залить на зеркало такой robots.txt
User-Agent: *
Disallow: /
Host: www.glavnuj_site.ru
Вопрос: Будет ли Яндекс выполнять команду Host при запрещающей команде Disallow?
Мне кажется лучше удалить сайт - когда выпадет из индекса ПС - 301 редирект.
Str256, уже удалял, причем на 3 с лишним месяца, однако он все равно упорно оставался в поисковой выдаче (причем в ТОПе на 3 месте) с надписью внизу "найден по ссылке".
А пока удаляли, было так написано?
User-agent: Yandex
Disallow: /
User-agent: *
Disallow: /
Если да, то в панели вебмастер Яндекса и Гугла - не забыли указать удалить сайт?
Str256
User-agent: Yandex
Disallow: /
Str256
User-agent: Yandex
Disallow: /
Пост №4
Гугол - после указания через пару дней всё убирает, даже при наличии сайта.
Яндекс - если сайт убрать - при наличии выше написанного мной через несколько дней.
Скажите, а если я хочу разрешить доступ к сайту только роботу-зеркальщику Яндекса, корректен ли будет такой robots.txt
User-agent: Yandex/1.01.001 (compatible; Win16; H)
Disallow:
Host: www.glavnuj_site.ru
User-agent: *
Disallow: /
Или Яндекс не воспримет такую запись?
Скажите, а если я хочу разрешить доступ к сайту только роботу-зеркальщику Яндекса, корректен ли будет такой robots.txt
Или Яндекс не воспримет такую запись?
User-agent: Yandex/1.01.001 (compatible; Win16; H)
Фантазиями не занимайтесь, есть только один юзерагент для Яндекса: Yandex.
Каширин какие фантазии, Яндекс же сам пишет об этом роботе: http://help.yandex.ru/webmaster/?id=995296
А как в логах сервера называется ваш робот? Ваш робот "ходит" с одного IP-адреса?
У Яндекса есть несколько роботов, которые представляются по-разному.
Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот
Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок
Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов
Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий пиктограммы сайтов (favicons)
Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»
YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса
YandexBlog/0.99.101 (compatible; DOS3.30; Mozilla/5.0; B; robot) — робот поиска по блогам, индексирующий коментарии постов
Ну и что, Каширин правильно говорит, если напишите в User-agent что-либо кроме Yandex - робот это просто не воспримет.
Попробуйте запретить через .htaccess по названию или IP.
Вот посмотрите пример, можете проконсультироваться с автором.
Будет ли Яндекс выполнять команду Host при запрещающей команде Disallow?
У Яндекса есть несколько роботов, которые представляются по-разному.
Да тут многие в курсе :). Только читать надо не про переменную User-agent, а про то, как Яндекс обрабатывает robots.txt. Str256 написал правильно, почти:
если напишите в User-agent что-либо кроме Yandex - робот это просто не воспримет.
На самом деле Яндекс воспримет любую строку, начинающуюся с Yandex, и она будет действовать на всех его роботов: http://help.yandex.ru/webmaster/?id=996567#996568
"В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются."
Скажите, а если я хочу разрешить доступ к сайту только роботу-зеркальщику Яндекса
Короче, такой функции в robots.txt для Яндекса не предусмотрено, ибо нефиг мудрить, а то потом службу поддержки задолбают изобретатели хитровыдуманных robots.txt . Они даже директиву Host: собирались отменить, а то слишком много вопросов задают.