Robots.txt генерация и индексация.

XZ
На сайте с 21.06.2011
Offline
41
989

Доброго всем дня.

Подскажите кто сталкивался, пожалуйста. Недавно переносили обновления сайта на продакшн и программисты перенесли файл robots.txt закрывающий индексацию сайта. Отсюда сразу ошибки в гугл вебмастерс, в выдаче гугла не отображается дескрипшн и т.д. Яндекс вроде не успел хапнуть (такой файл висел одну ночь).

После разбора полетов программисты предложили генерировать файл robots.txt автоматически. Файлом robots.php с расширением .txt Файл проверяет где находится пользователь на темплэйтед или на продакшн и отдает нужные значения.

Лично я, как seo специалист, против, но если кто-то сталкивался с таким моментом вопрос: Может ли такое решение влиять на индексацию и как? Стоит ли заморачиваться.

Заранее всем спасибо за ответы.

С уважением.

kimberlit
На сайте с 13.03.2007
Offline
370
#1
XcluZive:
программисты предложили генерировать файл robots.txt автоматически

Зачем? 10 недоумений.

Filan
На сайте с 26.05.2011
Offline
119
#2
XcluZive:
После разбора полетов программисты предложили генерировать файл robots.txt автоматически.

Ленивые у вас программисты.

XZ
На сайте с 21.06.2011
Offline
41
#3
kimberlit:
Зачем? 10 недоумений.

Мотивируют это тем, что больше такое не повторится, если файл будет генерироваться.

O2
На сайте с 28.07.2012
Offline
7
#4
XcluZive:
Мотивируют это тем, что больше такое не повторится

Мотивируйте их больше не ошибаться так.

XZ
На сайте с 21.06.2011
Offline
41
#5
oracleh2:
Мотивируйте их больше не ошибаться так.

С этим как раз-таки понятно...

Больше интересует пробовал кто-нибудь так делать или нет? И если да, то какие были результаты и выводы? Просто нет времени на тесты.

P.S. Большая просьба не отклоняться от темы.

O2
На сайте с 28.07.2012
Offline
7
#6

Я так генерирую sitemap.xml но это немного другое. С роботсом не стал бы так экспериментировать, тем более переезды не каждый день случаются.

XZ
На сайте с 21.06.2011
Offline
41
#7

Sitemap и у нас генерируется. Дело в том, что проект обновляется постоянно - работает целая команда разработчиков и это уже второй случай. Прошлый раз успел хапнуть и яндекс и гугл.

Поэтому и встал вопрос об автоматизации.

PS Свалилась вся низкочастотка по гуглу из топ 10 - около 300 запросов.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий