Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Роботс. uCoz

ШВ
На сайте с 11.04.2010
Offline
72
ШеВ)
669 

User-agent: *

Disallow: /a/

Disallow: /stat/

Disallow: /index/1

Disallow: /index/2

Disallow: /index/3

Disallow: /index/5

Disallow: /index/7

Disallow: /index/8

Disallow: /index/9

Disallow: /panel/

Disallow: /admin/

Disallow: /secure/

Disallow: /mchat



Sitemap: http://tnt-realboys.ru/sitemap.xml

Sitemap: http://tnt-realboys.ru/sitemap-forum.xml

Вот такой у меня роботс.txt. Как его сделать правильнее? Помогите.

Самая первая ссылка

"Вам сюда нельзя" - выходит на страницу редактирования материала. Как исправить?

Спасибо.

Capitalist
На сайте с 31.12.2009
Offline
51
Capitalist
#1
ШеВ):

Вот такой у меня роботс.txt. Как его сделать правильнее? Помогите.
Самая первая ссылка

"Вам сюда нельзя" - выходит на страницу редактирования материала. Как исправить?
Спасибо.

Файл роботс помойму вполне нормальный, если интересно, то вот пояснение "что к чему" там:

User-agent: * Всем поисковым ботам

Disallow: /a/ не индесировать страницу обработки ошибок страниц

Disallow: /stat/ не индексировать статистику

Disallow: /index/1 не индексировать служебную страницу

Disallow: /index/2 не индексировать служебную страницу

Disallow: /index/3 не индексировать служебную страницу

Disallow: /index/5 не индексировать служебную страницу

Disallow: /index/7 не индексировать каталог аватаров

Disallow: /index/8 не индексировать профиль пользователя

Disallow: /index/9 не индексировать страницу "Доступ запрещен"

Disallow: /panel/ не индексировать админ-панель

Disallow: /admin/ не индексировать страницу входа в админ-панель

Disallow: /secure/ не индексировать служебную страницу

Disallow: /informer/ не индексировать список информеров

Disallow: /mchat не индексировать миничат

Disallow: /search не индексировать страницу в результатами поиска по сайту

Sitemap: http://blog.ucoz.ru/sitemap.xml адрес карты сайта

Sitemap: http://blog.ucoz.ru/sitemap-forum.xml адрес отдельной карты сайта для форума

Sitemap: http://blog.ucoz.ru/sitemap-shop.xml адрес отдельной карты сайта для магазина

А вот та ссылка с "Вам сюда нельзя" как раз помойму и является страницей редактирования одного из материалов.

Составление файла robots.txt В Google Search Console Google о крупных файлах
Cell
На сайте с 09.10.2007
Offline
552
Cell
#2
ШеВ):

Вот такой у меня роботс.txt. Как его сделать правильнее? Помогите.

Это системный robots.txt от uCoz. Более или менее оптимизированный и правильно настроенный. Лучший вариант для кривых рук. Оставьте как есть.

Можете добавить

Disallow: /search/

(чтобы мусор из поиска не индексировался)

и прописать

Host: ваш сайт.ru

ШеВ):

"Вам сюда нельзя" - выходит на страницу редактирования материала. Как исправить?

Копайтесь в настройках правах пользователей.

The Piper at the Gates of Dawn.
Live Search добавил в Google обновил справку в В Google рассказали, как
ШВ
На сайте с 11.04.2010
Offline
72
ШеВ)
#3

Всё ясно, только почему у меня проиндексировалась страница http://tnt-realboys.ru/publ/0-0-0-25-13 ?

Там по сути редактирование материала. А этого не должно быть.

Cell
На сайте с 09.10.2007
Offline
552
Cell
#4
ШеВ):
Всё ясно, только почему у меня проиндексировалась страница http://tnt-realboys.ru/publ/0-0-0-25-13 ?
Там по сути редактирование материала. А этого не должно быть.

Сложно сказать, что вы там наворотили. Вам лучше знать.

Возможно, сначала у вас была возможность гостям добавлять/редактировать материалы - роботы и схавали.

А потом вы спохватились и закрыли эту возможность, а в кеше ПС страница еще висит...

Google представил API сервиса Яндекс.Справочник добавил данные о В Google+ появится возможность
S
На сайте с 28.10.2005
Offline
319
semenov
#5
Cell:

Можете добавить
Disallow: /search/
(чтобы мусор из поиска не индексировался)

Уже есть Disallow: /search

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий