Динамический robots.txt вместо физического? Плюсы и минусы?

12
V
На сайте с 11.12.2021
Offline
16
497
Если обойтись без создания папки robots.txt в корне и довольствоваться созданным сео плагином динамическим robots.txt. Какие минусы и плюсы? Из минусов пока вижу то что, плагин всё таки сторонняя вещь, в корне физический надёжнее держать.
sergv
На сайте с 13.04.2006
Offline
413
#1
vanesa :
папки robots.txt

Это не папка - это файл.

Как вы его отдадите запрашиваемому - дело ваше. Если в него не вносятся сколько-нибудь часто изменения - то держать физическим файлом, если вносятся - автоматизировать и генерить.

Мне кажется, вся суть именно в этом, иначе не очень понятно зачем бы я его генерил автоматом.

https://REGHOME.ru - регистрация и продление доменов от 169₽ в российских и международных зонах по честным ценам без звездочек. (R01, WebNames, UK2). Принимаем Ю-Money, Visa, MasterCard, Мир
V
На сайте с 11.12.2021
Offline
16
#2
sergv #:

Это не папка - это файл.

Как вы его отдадите запрашиваемому - дело ваше. Если в него не вносятся сколько-нибудь часто изменения - то держать физическим файлом, если вносятся - автоматизировать и генерить.

Мне кажется, вся суть именно в этом, иначе не очень понятно зачем бы я его генерил автоматом.

Точно, оговорилась, спасибо за поправку.

При имеющемся виде сайта мне пока что ближе физический вариант файла. Суть поняла, спасибо.

Антоний Казанский
На сайте с 12.04.2007
Offline
614
#3
vanesa :
Если обойтись без создания папки robots.txt в корне и довольствоваться созданным сео плагином динамическим robots.txt. Какие минусы и плюсы? Из минусов пока вижу то что, плагин всё таки сторонняя вещь, в корне физический надёжнее держать.

В любом случае файл robots.txt находится в корневом разделе физически (должен находиться).

SEO плагины как правило позволяют его редактировать из админки сайта, иногда применяя которые инструкции для запрета переобхода файлов/папок, указания использования xml карты и директивы host, которая не поддерживается Яндексом, насколько я помню, с 2018 года.

√ SEO продвижение https://akazansky.ru - поиск новых точек роста, экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. © Обстоятельно, ответственно, доступно.
W1
На сайте с 22.01.2021
Offline
283
#4
Антоний Казанский #:
В любом случае файл robots.txt находится в корневом разделе физически (должен находиться).

Не должен. Некоторые CMS выдают предупреждение, что его там быть не должно в случае генерации скриптом.

Мой форум - https://webinfo.guru –Там я всегда на связи
sergv
На сайте с 13.04.2006
Offline
413
#5
Антоний Казанский #:
В любом случае файл robots.txt находится в корневом разделе физически (должен находиться).
Если он генерится автоматом, то ничего он не должен. При обращении генерится и отдается. А физически отсутствует.
Антоний Казанский
На сайте с 12.04.2007
Offline
614
#6
webinfo #:
Не должен.
sergv #:
Если он генерится автоматом, то ничего он не должен.

Это смотря с какой точки зрения. С точки зрения вопросов оптимизации (смотрим на актуальный раздел) - должен быть.

С точки зрения практики использования CMS, конечно можно накрутить и использовать какие угодно схемы его поддержки.


webinfo #:
Некоторые CMS выдают предупреждение, что его там быть не должно в случае генерации скриптом.

Это предупреждение является каким-то непреодолимым препятствием?

Из нескольких плагинов, которые я видел (и которые по большому счёту совершенно не нужны опытному специалисту) - просто перезаписывали его содержимое. Что с плагином, что без плагина, что при желании - вообще без CMS файл robots.txt в своём физическом присутствии актуален, будь он хоть в паре со статичным файлом index.html

W1
На сайте с 22.01.2021
Offline
283
#7
Антоний Казанский #:
Это смотря с какой точки зрения. С точки зрения вопросов оптимизации (смотрим на актуальный раздел) - должен быть.

Чушь полная. При чём тут вообще оптимизация? Ответ: ни при чём.

Антоний Казанский #:
Это предупреждение является каким-то непреодолимым препятствием?

Как бы да. Не генерируется код robots.txt.

Антоний Казанский
На сайте с 12.04.2007
Offline
614
#8
vanesa :
Из минусов пока вижу то что, плагин всё таки сторонняя вещь, в корне физический надёжнее держать.

Совершенно верно. Если вы по каким-то причинам не сможете зайти в панель управления CMS и запустить плагин, которые эмулирует поддержку robots.txt, то вы и не сможете поменять данные в случае необходимости.

Всегда проще зайти напрямую на хостинг (или через ftp) и вручную обычным текстовым редактором его отредактировать.

К слову, это даже быстрее. 

sergv
На сайте с 13.04.2006
Offline
413
#9

Странный спор. Все зависит от не раздела на форуме, а от задач.

Тот, кто запрашивает файл - получит его в любом случае и знать не будет лежит он там или был свежесгенерирован. Файл был нужен - файл по адресу domain.com/robots.txt был получен. Все. Задача выполнена.

А реализовано ведь все может быть разными методами - он может там и правда физически лежать и обновляться раз в N дней, а может его там не быть вообще, он будет генериться именно в момент обращения и отдаваться.

Это уже вопросы вообще из другой области, которые решаются и реализовываются под конкретный сайт.

Антоний Казанский
На сайте с 12.04.2007
Offline
614
#10
webinfo #:
Чушь полная. При чём тут вообще оптимизация? Ответ: ни при чём.

Смотрим внимательно на то как называется раздел в котором мы беседуем (указано слева) и не порем горячку ;)


webinfo #:
Как бы да. Не генерируется код robots.txt.

Снести тогда этот плагин нафик, который не может нормально обеспечить работу. 

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий