Форум Практика оптимизации Общие вопросы оптимизации

СайтМап и запрет индексации

H
На сайте с 16.02.2007
Offline
63
horlap
834

Уважаемые, подскажите пожалуйста...

У меня загружен сайт мап в панели веб мастера, он по нему видит правильное кол-во страниц сайта (а именно 88), однако "Число загруженных страниц: 20392", что меня не очень устраивает...

Так вот собственно суть вопроса: А можно как нибудь запретить к индексации не определенные маски и каталоги в роботсе, а ВСЕ страницы, кроме указанных в Сайт-Мапе ???

Заранее благодарен за Ваши ответы....

FladeX
На сайте с 07.11.2008
Offline
163
FladeX
#1

Вам нужно прописать правильный robots.txt, а в этом процессе sitemap никак не поможет. То есть если вы запретите все к индексации в robots.txt, то ничего индексироваться и не будет, и без разницы, что при этом будет указано в sitemap.

Услуги посредника на бирже контента: информационные статьи 40₽/1000, «продающие» тексты 50₽/1000. Пишите в личку. Помогаю правильно переехать на https (/ru/forum/973447). Подписывайтесь на мой канал в телеграм: https://t.me/fladex (https://t.me/fladex).
H
На сайте с 16.02.2007
Offline
63
horlap
#2

Спасибо, за ответ...

Но суть в том, что сайт на джумле и генерит кучу ненужных ссылок и страниц ( а именно 20392 страниц), а нужно из них всего 88, основные каталоги я конечно прописал в роботсе (так бы их было намного больше :) ), но я же не могу запрещать к индексации 20,000 страниц в ручную, вот я и подумал, что есть какая ни-дь директива для роботса, которая просто запретит:

Вариант номер один: запретит к индексации все страницы, кроме списка из 88 ссылок

Вариант номер два: запретит к индексации все страницы, кроме ссылок в сайтмапе...

S
На сайте с 28.10.2005
Offline
312
semenov
#3 


User-agent: *

Allow: /страница_1$

...

Allow: /страница_88$

Disallow: /

Как-то так

FladeX
На сайте с 07.11.2008
Offline
163
FladeX
#4

semenov, а не наоборот?) В смысле что строчки местами поменять.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий