Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt - как такое может быть?

12
muratti
На сайте с 31.05.2008
Offline
238
muratti
#11
tehno-music:
Два разных вебмастера, которые уже более двух лет ведут свои блоги ( каждый из блогов в ТОПе по нужным запросам ), резко в один день меняют нормальные файлы роботс на кривые? Где логика?

1. http://webcache.googleusercontent.com/search?q=cache:IjYnxlAvRaUJ:www.terehoff.com/robots.txt+http://www.terehoff.com/robots.txt&cd=1&hl=ru&ct=clnk&gl=ru&client=opera&source=www.google.ru

2. http://webcache.googleusercontent.com/search?q=cache:2AHzXG5KBV0J:optimizatorsha.ru/robots.txt+http://optimizatorsha.ru/robots.txt&cd=1&hl=ru&ct=clnk&gl=ru&client=opera&source=www.google.ru

tehno-music:

роботс оптимизаторшы:
User-agent: Yandex
Disallow: *
Disallow: /*?

User-agent: *
Disallow: *
Disallow: /*

Терехова:
User-agent: * Disallow: Sitemap: http://www.terehoff.com/sitemap.xml.gz
tehno-music
На сайте с 19.06.2010
Offline
126
tehno-music
#12

Спасибо, на счет оптимизаторши я понял в чем там дело - вебмастер полностью изменила шаблон и функционал, поэтому и поменялся файл роботс, у Терехова наверное что похожее происходило в последнее время. muratti - спасибо что помогли разобраться, вопрос полностью разьяснён. Закройте тему пожалуйста. С ув. tehno-music.

Delen.ru ( https://delen.ru/ ) AlexHost: высокие конфигурации на VPS за 70 руб! ( https://alexhost.com/?affid=95 )
Google: почему устаревшие страницы Google не рекомендует использовать Опрос Яндекса для владельцев
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий