- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть сайты А и Б - полностью зеркала. Как правильно сказать Яндексу с помощью robots.txt, что А - основной сайт?
Уже месяца три Яндекс упорно считает их разными сайтами, Платон на вопросы молчит как рыба об лед.
Нигде не нашел как правильно оформить роботс, даже в факах на Яндексе, поэтому, если можно - примерчик? :rolleyes:
finn,
По всей видимости, Вы из тех, кто обажает в темноте ходить по граблям.
Не пробовали почитать у самого яши???
http://webmaster.yandex.ru/faq.xml?id=508490
finnНе пробовали почитать у самого яши???
http://webmaster.yandex.ru/faq.xml?id=508490
Я же сказал, что сделал, как написано в факе яндекса (вернее посмотрел его и додумал сам, как мне показалось правильным, потому что там нет example)... Не работает уже несколько месяцев, хотя сайт регулярно индексируется.
Просто нужен пример грамотно оформленного robots.txt для этого случая.
Просто нужен пример грамотно оформленного robots.txt для этого случая.
Host siteA.ru
Вот и все ;). Склейка может более полугода идти.
finn,
Видать чтение, не Ваш конек.
Ладно
Все просто
как сказанно выше - в роботс на обоих сайтах шужно вписать
User-Agent: *
Disallow:
Host: Сайт А
А потос, еще раз почитайте внимательней яшину справку
Понятно, спасибо!
Значит остается только ждать... 😒
в роботс на обоих сайтах шужно вписать
User-Agent: *
Disallow:
Host: Сайт А
Проверил со стандартом на robots.txt - Вы все валидно написали (разумеется, кроме директивы Host, которой в стандарте нет) - и разместил у себя на сайтах
Но как понимать то, что test-robots говорит при этом, что индексация сайта полностью запрещена??? 😮
Не запрещено только если оставить директиву Host. Но это же совсем не валидно. В голову пришло только запретить несуществующую папку :)
На каком бы сайте посмотреть грамотную реализацию robots.txt c директивой Host и без запретов?
finn, Вам брольшой минус.
Уважаемый, ви бредите
http://webmaster.yandex.ru/faq.xml?id=508490#wrongname
http://www.yandex.ru/robots.txt
finn, Вам брольшой минус.
Уважаемый, ви бредите
http://webmaster.yandex.ru/faq.xml?id=508490#wrongname
http://www.yandex.ru/robots.txt
Уважаемый T.R.O.N, я читал этот FAQ, и не только этот. Точной информации, как сделать правильный robots.txt там нет, имхо. Да и важные ссылки в хелпе битые. После помещения robots.txt, который Вы посоветовали, яндекс сам, как я написал выше сказал, что сайт полностью запрещен к индексации.
Если Вы с высоты своего опыта можете "мизинцем" наваять robots.txt, это не дает Вам право называть мои посты бредятиной и разбрасываться минусами... :)
Кроме того, в яндексовском роботсе есть запреты, а я просил показать без запретов.
Помогли бы делом лучше.
Помогли бы делом лучше.
Вам дали замечательный рабочий пример Валидного robots.txt - что Вам не нравится? 🚬 Смотрите в логах заходы робота # Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов - и ждите, ждите, ждите, иногда на склейку уходит не один месяц ☝