- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
1. Мне нужно чтобы яндекс индексировал мой сайт по адресу site.ru, а не по www.site.ru. Для этого я составил такой robots.txt
User-agent: *
Disallow: /user/
Host: site.ru
Сомневаюсь насчет правильности, что указать Host: site.ru или Host: www.site.ru (Совсем запутался)
2. Через какой срок зеркала склеются?
1. Все правильно.
2. Трудно предсказать. Обычно пары месяцев хватало.
upyrj, нифика не правильно :) блин, сколько уже можно обсуждать то одно и тоже :)
Megavolt, ну покажи тогда, как правильно. 8)
Или ты про невалидность для не-Яндекса?
Правильное составление для Яндекса:
User-Agent: Yandex
Host: site.ru (в этом случае главным зеркалом будет считать site.ru, a не www.site.ru)
Правильное составление для Яндекса:
User-Agent: Yandex
Host: site.ru (в этом случае главным зеркалом будет считать site.ru, a не www.site.ru)
А так чем плохо?
User-agent: *
Host: site.ru
Разве есть разница?
upyrj, нифика не правильно блин, сколько уже можно обсуждать то одно и тоже
И мне раскажите как правильно, а то уже два месяца хост меняю
А так чем плохо?
User-agent: *
Host: site.ru
Разве есть разница?
User-agent: * - это для всех ботов.
а HOST для всех кроме яндекса ошибочная директива.
и плохо тем, есть вероятность, что другие поисковики, найдя ошибочную директиву будут хуже индексировать сайт. Либо вообще не слушатся robots.txt
Вот самое правильное решение =)
Disallow:
Host: site.ru
User-agent: *
Disallow:
Вот самое правильное решение =)
Цитата:
User-agent: Yandex
Disallow:
Host: site.ru
User-agent: *
Disallow:
Всё же осмелюсь поправить.
Но в рекомендациях вроде указано и рекомендовано, все нестандартные директивы, помещать в конец файла. Так что ещё правильней будет так:
User-agent: *
Disallow:
User-agent: Yandex
Disallow:
Host: site.ru
Сегодня проверял яндексовским скриптом robots.txt на одном из сайтов - директиву Host игнорирует! Указывал "User-agent: *" и "User-agent: Yandex" - по барабану, видит только что в Disallow...
Две недели назад всё было нормально. Нововведение или глюк?
а HOST для всех кроме яндекса ошибочная директива.
Верно, и конечно тем кто любит искать правильность ради принцыпа, - конечно нужно писать полный вариант, но есть но...
По стандарту, файл роботс.тхт обрабатывается последоватльно. Директива HOST ставится всегда последней. Посему, те кто ее не понимаю, встретив ее, прекратят обработку файла, но, как понятно, это уже значение не играет.
Все что обработоно до встречи ошибки , - считается верным и исполняется...
Просто о стандартах:
Разве многие знают, что согласно стандарта, в поле Subject в письме нельзя использовать ничего кроме латиницы?
На досуге, у кого есть конечно, посмотрите логи своего почтовика - узнаете много нового.