Работа robots.txt

yukon
На сайте с 06.03.2007
Offline
104
731

Товарищи, а подскажите, правильно ли я понимаю работу файла robots.txt.

Есть два недавно созданных домена www.hitcatering.ru и www.hit-catering.ru - содержание, что логично, одно и то-же.

Есть robots.txt:

User-Agent: *
Disallow:
Host: www.hit-catering.ru

Сейчас при запросе hit-catering.ru Яндекс находит 6 ответов, а при hitcatering.ru - 27 ответов. Но ведь в роботсе прописан основным - домен с дефисом!!!

Запрос "хит кейтеринг" - тоже даёт домен hitcatering.ru

Что случилось? Яндекс клал на robots.txt ???

[Удален]
#1

Давно прописали в robots.txt (на сайте без дефиса) домен с дефисом?

Насколько я помню, "склейка" достаточно долго происходит.

R
На сайте с 08.05.2008
Offline
222
#2

Домены не склеены.

Тема по продвижению сайтов. От 30 000 р. со ссылочным и копирайтингом!. (/ru/forum/801720) Темка по аудитам и консультациям. Стоимость аудита 9 000 рублей. (/ru/forum/622569) skype rastijko
[Удален]
#3
yukon:
Товарищи, а подскажите, правильно ли я понимаю работу файла robots.txt.

Есть два недавно созданных домена www.hitcatering.ru и www.hit-catering.ru - содержание, что логично, одно и то-же.

Есть robots.txt:


Сейчас при запросе hit-catering.ru Яндекс находит 6 ответов, а при hitcatering.ru - 27 ответов. Но ведь в роботсе прописан основным - домен с дефисом!!!

Запрос "хит кейтеринг" - тоже даёт домен hitcatering.ru

Что случилось? Яндекс клал на robots.txt ???

Просто у зеркальщика тоже есть свои АПдейты. Которые случаются не часто. Пока очередной такой АП не случится, в индексе будут оба домена.

yukon
На сайте с 06.03.2007
Offline
104
#4
SeoMad:
Просто у зеркальщика тоже есть свои АПдейты. Которые случаются не часто. Пока очередной такой АП не случится, в индексе будут оба домена.

Да я в курсе, уже два апа таких прошло.

MotherOfGod:
Давно прописали в robots.txt (на сайте без дефиса) домен с дефисом?
Насколько я помню, "склейка" достаточно долго происходит.

Да прям с самого начала! Ещё контента не было - а роботс уже был!

[Удален]
#5

Значит нужно дождаться очередного апдейта.

YS
На сайте с 06.11.2012
Offline
0
#6

Добрый день, я знаю, что подобная тема уже была и я внимательно её изучила, но так и не поняла, почему у меня яндекс при проверке файла роботекс пишет: "Файл robots.txt не будет учтён роботом Яндекса, т.к. при запросе выполняется перенаправление." блог

http://love-wed.blogspot.ru/

файл robot.txt выглядет так

User-agent: Mediapartners-Google

Disallow:

User-agent: Yandex

Disallow:

User-agent: Mail.ru

Disallow:

У меня нет никакого редикта, а главным зеркалом я выбрала название сайта без www, но это было сделано уже после того, как сайт перестал индексироваться

Заранее спасибо

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий