Подскажите программу для robots.txt

sergey885
На сайте с 19.08.2002
Offline
246
367

Здравствуйте,

Есть ряд огромных проектов с очень запутанной структурой. Писать robots.txt в блокноте будет просто не удобно.

Задумался, а вдруг есть какая-то программа или сервис, в которой можно его составить, а потом тупо подбрасывать урлы на проверку и смотреть как какая директива их отработает или нет.

Ну или может что-то еще удобное...

интернет-маркетинг. стратегии развития веб-проектов.
SeVlad
На сайте с 03.11.2008
Offline
1520
#1
sergey885 :
Ну или может что-то еще удобное...

В роботс пишутся урлы которые могут быть доступны паукам, но не нужны в индексе.

Какая разница куда их писать и что для этого может быть удобнее блокнота?

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Топики помощи с ⓌordPress (https://searchengines.guru/ru/forum/1032910 ) и основы безопасности сайтов ( https://searchengines.guru/ru/forum/774117 ). *** Помощь\консультации в топиках форума - БЕСПЛАТНО. Платные услуги ( https://wp.me/P3YHjQ-3 ) - с бюджетом от 150$ ***
sergey885
На сайте с 19.08.2002
Offline
246
#2

может я свою мысль не так донес..
например есть вот такая чекалка https://www.google.com/webmasters/tools/robots-testing-tool
т.е. можно тут же загрузить роботс с сайта, дописать директивы, тут же вставить реальный урл на проверку и сразу увидеть как он будет обрабатываться или нет.
в принципе почти подходит. но вдруг есть что-то еще более удобное.

Google Search Console
  • www.google.com
Use Search Console to monitor Google Search results data for your properties.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий