- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте. Ситуация у меня получилась такая.
Долгое время сайт присутствовал в интернете как www.domain.ru. В robots.txt было прописано:
User-Agent: *
Host: www.domain.ru
Disallow: /files
Потом программист, воевавший с каким-то багом, баг починил, но настроил в htaccess редирект с www.domain.ru на domain.ru. Какое-то его произведение на www.domain.ru работать отказывалось :о) Файл robots.txt не поправили своевременно.
В итоге сайт вылетел из индекса Яндекса, файл robots.txt я переписала:
User-Agent: *
Host: www.domain.ru
Disallow: /files
Нужно ли что-то еще где-то перенастраивать?
При попытке добавить сайт через http://webmaster.yandex.ru/ выдается ответ:
Или, может, переписать robots.txt так?
User-Agent: *
Host: domain.ru
Disallow: /friends
User-Agent: Yandex
host: www.domain.ru
Disallow:
Я перечитала кучу FAQ и облазила весь форум, в итоге запуталась окончательно. Помогите, пожалуйста, разобраться.
Спасибо.
Ksi, попросите программиста лучше перенастроить редирект, чтобы он вел с domain.ru на www.domain.ru.
А в роботсе строчка с директивой Host должны идти после строк с Disallow, как-то так:
Лучше так:
User-Agent: *
Disallow: /files
User-Agent: Yandex
Disallow: /files
Host: www.domain.ru
Ksi, попросите программиста лучше перенастроить редирект, чтобы он вел с domain.ru на www.domain.ru.
А в роботсе строчка с директивой Host должны идти после строк с Disallow, как-то так:
Cherny, необходимо, чтобы пользователь попадал именно на domain.ru, без www. Поэтому редирект и настроили с www.domain.ru на domain.ru. При наличии www не работает какая-то специальная сессия куки (я в подробности вдавалась, но запуталась).
А дважды пользователя редиректить как-то...
Спасибо за ответ :о)
Лучше так:
User-Agent: *
Disallow: /files
User-Agent: Yandex
Disallow: /files
Host: www.domain.ru
Дело в том, что неисправленный роботс.тхт в таком виде:
User-Agent: *
Disallow: /files
Host: www.domain.ru
как раз привел к выпадению всех страниц из индекса Я. Зачем все повторять заново, но уже с отдельным указанием ботам Яндекса долбиться в заведомо отсутствующие страницы? :о(
Робот исправно ходит, исправно получает свои ответы:
но страницы-то из индекса вылетели.
Почитайте здесь и здесь, многое станет понятным. Из-за "Host:" сайт не должен был выпасть, должно было просто поменяться зеркало. Если у вас по адресу с www не выдаётся ничего, то тогда мог и вылететь. В этом случае или делайте сайт доступным с www и оставляйте его основным зеркалом (это проще) или прописывайте:
User-Agent: *
Disallow: /files
User-Agent: Yandex
Disallow: /files
Host: domain.ru
И ждите пока поменяется основное зеркало (может занять достаточно много времени).
Свои 200 то робот получает, но он, запрашивая robots.txt видит, что это не главное зеркало и уходит...
Cпасибо.
А если удалить www.domain.ru из Яндекса, а через неделю отдать ему domain.ru - результат будет?
Наиболее безболезненный вариант - сделать поддомен с www и прописать, что бы при запросе www.site.ru и sile.ru отдавался один и тот же контент. А в роботс прописать хост без www и жадть зеркальщика. После этого зеркало само поменяется, а пока не поменялось сайт будет икаться и работать, хоть и с www (сэкономите время =)).
Ага. Спасибо огромное!
Ksi, куку сессии можно хранить и для домена с www. Можно переключить куку и поменять редирект, ИМХО это будет быстрее, чем сейчас разбираться с зеркалами, потому как даже при всех правильных действиях переклейка может только через пару недель произойти,а с оглядкой на Новый Год и последующие праздники...
Так что я бы напряг разработчика. ;)
добавлю ко всему сказанному - а потом уже пропиши чтобы при наборе site.ru шло на www.site.ru
файл .htaccess:
RewriteEngine on
RewriteCond %{HTTP_HOST} ^site\.ru
RewriteRule ^(.*)$ http://www.site.ru/$1 [R=permanent,L]