robots.txt - как такое может быть?

12
tehno-music
На сайте с 19.06.2010
Offline
126
819

Вот много тем создавалось на тему роботса для ВП, я практически все перечитал но никогда такого не встречал. Часто читаю блог Терехова и Оптимизаторшы, сегодня заинтересовался каие они используют роботсы, думал что -то для себя интересное увидеть. Действительно увидел и просто прозрел роботс оптимизаторшы:

User-agent: Yandex
Disallow: *
Disallow: /*?

User-agent: *
Disallow: *
Disallow: /*

Терехова:

User-agent: * Disallow: Sitemap: http://www.terehoff.com/sitemap.xml.gz
Как такое может быть? Оба блога отлично индексируються поисковиками.
Delen.ru ( https://delen.ru/ ) AlexHost: высокие конфигурации на VPS за 70 руб! ( https://alexhost.com/?affid=95 )
muratti
На сайте с 31.05.2008
Offline
238
#1
tehno-music:
Как такое может быть? Оба блога отлично индексируються поисковиками.

Что быть? Оба роботса кривые. :D

kimberlit
На сайте с 13.03.2007
Offline
370
#2
tehno-music:
Как такое может быть? Оба блога отлично индексируються поисковиками.

Отлично индексируются?

tehno-music
На сайте с 19.06.2010
Offline
126
#3
muratti:
Что быть? Оба роботса кривые. :D

Вот об этом я и говорю, а блоги то в индексе как у Яши так и у Гоши ☝. Как такое может быть? Что за прикол используется в таких роботсах? Может кто-то обьяснить, ничего не пойму... 😕

tehno-music добавил 04.06.2011 в 19:06

kimberlit:
Отлично индексируются?

Тема создана не для проверки моей орфографии, а для выяснения правильности использования таких роботсов. Имеете что сказать по данному вопросу?

muratti
На сайте с 31.05.2008
Offline
238
#4
tehno-music:
Вот об этом я и говорю, а блоги то в индексе как у Яши так и у Гоши . Как такое может быть? Что за прикол используется в таких роботсах? Может кто-то обьяснить, ничего не пойму...

Скорее всего, роботc был заигнорен за кривизну, и все.

tehno-music
На сайте с 19.06.2010
Offline
126
#5
muratti:
Скорее всего, роботc был заигнорен за кривизну, и все.

muratti - спасибо за ответ, я так понимаю на новом сайте такой номер врядли прокатил бы? И ещё, получаеться с таким роботсом данные блоги должны иметь кучу дублей в ПС?

tehno-music добавил 04.06.2011 в 19:23

kimberlit:
Отлично индексируются?

Странные здесь порядки на форуме, человек по теме ответить ничего не смог, зато минус смог влепить, интересно за что? 😕

kimberlit
На сайте с 13.03.2007
Offline
370
#6
tehno-music:
человек по теме ответить ничего не смог

Что ты хочешь услышать? Нашёл какие-то говнороботсы и сразу "как такое может быть".

ЗЫ Ты бы лучше учился правильно их составлять.

tehno-music
На сайте с 19.06.2010
Offline
126
#7
kimberlit:
Что ты хочешь услышать? Нашёл какие-то говнороботсы и сразу "как такое может быть".

ЗЫ Ты бы лучше учился правильно их составлять.

Я с вами свиней не пас, так что извольте обращаться на Вы. Я именно и учусь их правильно создавать и хочу понять для себя как сайты с такими роботсами могут долго время нормально сидеть в индексе поисковиков. Я пока только услышал один нормальный ответ от muratti - "роботы поисковых систем просто проигнорировали кривые роботсы", может кто-то ещё что знает и не говорит?

kimberlit
На сайте с 13.03.2007
Offline
370
#8
tehno-music:
Я именно и учусь их правильно создавать и хочу понять для себя как сайты с такими роботсами могут долго время нормально сидеть в индексе поисковиков.

Откуда ты это знаешь? Может они вчера их поменяли?

tehno-music
На сайте с 19.06.2010
Offline
126
#9
kimberlit:
Откуда ты это знаешь? Может они вчера их поменяли?

Два разных вебмастера, которые уже более двух лет ведут свои блоги ( каждый из блогов в ТОПе по нужным запросам ), резко в один день меняют нормальные файлы роботс на кривые? Где логика?😕

kimberlit
На сайте с 13.03.2007
Offline
370
#10
tehno-music:
Где логика?

Ты предлагаешь обсудить логику людей, которые вешают говнороботсы на свои сайты? Давай, но без меня. Мне они неинтересны.

Лучше бы нашёл какой-нибудь изящный роботс и предложил его обсудить.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий