- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Web-Silver, настройте Web-сервер правильно. На запрос /robots.txt он выдает
Content-Type: text/html; charset=windows-1251
а надо
Content-Type: text/plain; charset=windows-1251
Ну и выглядит все его содержимое в одну строчку довольно ужасно.
К тому же странно, что до сих пор не прописана директива Host, вроде не первый день на форуме.
Kost, ух ты, и вправду! Много косяков я уже исправил в связи с пеереездом с виртуального хостинга на VPS, до этого видимо еще не дошел. Тем более, что перешел на nginx.
Директиву Host не делал по причине "старости" сайта, думал итак все нормально... Не могли бы Вы подсказать, как правильно сделать сейчас Host именно для моего сайта и при существующем уже robots.txt, в котором куча всего закрыто из-за форума.
Если бы ничего не нужно было закрывать, то я бы сделал так:
Disallow:
Host: site.ru
В моем же случае затрудняюсь...
Огромное Вам спасибо!
Подробно о том, как правильно составлять роботс: http://help.yandex.ru/webmaster/?id=996567
Irink@ добавил 27.05.2008 в 09:25
Кстати, а от Платонов кто-нибудь получил таки ответ? Я - нет.
Irink@, я так и не получил от них ответа. Про справку от Яши знаю, но хотелось бы все-таки получить именно правильный роботс для моего случая, дабы самому не перемудрить...
А какие страницы Вы хотите запретить для индексации Яндекса? (только ли Яндекса или всех ПС)
Irink@, для всех ПС, а для Яндекса указать правильный Host.
К примеру:
User-agent: *
Disallow: /search
Disallow: /forum
Host: www.site.ru
Этот роботс для всех ПС запрещает к индексации все страницы поиска (search) и форума (forum) и показывает главным зеркало www.site.ru
Irink@, я просто думал, что это директива только для User-agent: Yandex
Все ПС, кроме Яши уже научились склеивать сайты самостоятельно и проблем с этим никогда не возникает, у всех, кроме Яндекса, поэтому, все верно, директива Host помогает только Яндексу. В данном роботсе только он ее и прочитает.
Но
User-Agent: Yandex
Disallow: /search
Disallow: /forum
Host: www.site.ru
User-Agent: *
Disallow: /search
Disallow: /forum
Можно и так
Web-Silver, начните с того, чтобы отдавать robots.txt в виде plain text, а не в html.