Форум Практика оптимизации Сервисы и программы для работы с SE

Подскажите программу для robots.txt

sergey885
На сайте с 19.08.2002
Offline
248
sergey885
417

Здравствуйте,

Есть ряд огромных проектов с очень запутанной структурой. Писать robots.txt в блокноте будет просто не удобно.

Задумался, а вдруг есть какая-то программа или сервис, в которой можно его составить, а потом тупо подбрасывать урлы на проверку и смотреть как какая директива их отработает или нет.

Ну или может что-то еще удобное...

интернет-маркетинг. стратегии развития веб-проектов.
SeVlad
На сайте с 03.11.2008
Offline
1609
SeVlad
#1
sergey885 :
Ну или может что-то еще удобное...

В роботс пишутся урлы которые могут быть доступны паукам, но не нужны в индексе.

Какая разница куда их писать и что для этого может быть удобнее блокнота?

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
sergey885
На сайте с 19.08.2002
Offline
248
sergey885
#2

может я свою мысль не так донес..
например есть вот такая чекалка https://www.google.com/webmasters/tools/robots-testing-tool
т.е. можно тут же загрузить роботс с сайта, дописать директивы, тут же вставить реальный урл на проверку и сразу увидеть как он будет обрабатываться или нет.
в принципе почти подходит. но вдруг есть что-то еще более удобное.

Google Search Console
  • www.google.com
Use Search Console to monitor Google Search results data for your properties.
Как быстро донести информацию Вопросы по индексации Как запретить индексацию некоторых

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий