Как запретить индексацию некоторых страниц

L
На сайте с 05.02.2017
Offline
1
1658

Ситуация: На сайте есть несколько страниц, которые нужно проинексировать и несколько, которые индексировать не нужно. Сайт сделан на Битриксе таким образом, что и те страницы которые нужно индексировать, и те что не нужно, хранятся в одном файле php. При попытке запретить тегом <meta name="robots" content="noindex"> через настройки страницы в Битриксе - запрещаются ВСЕ страницы относящиеся к этому файлы.

Через файл robots.txt запретить также не получится (а кроме того, бессмысленно).

Вопрос - что делать? Как еще можно запретить индексацию страницы?

Buch777
На сайте с 02.03.2010
Offline
105
#1
Largass:
Через файл robots.txt запретить также не получится (а кроме того, бессмысленно).

Обычно через robots.txt всё получается, хотя бывают случаи, что очень надо запретить в подразделах всё генерируемое с параметрами кроме нескольких страниц.

Сделать ЧПУ для таких страниц + СЕОприблуду привинтить для прописки нужных тайтла и дискрипшен. Ненужное всеравно придется через robots запрещать.

Но это уже вопрос не оптимизации, а кастомизации битрикса.

L
На сайте с 05.02.2017
Offline
1
#2
Buch777:
Обычно через robots.txt всё получается, хотя бывают случаи, что очень надо запретить в подразделах всё генерируемое с параметрами кроме нескольких страниц.
Сделать ЧПУ для таких страниц + СЕОприблуду привинтить для прописки нужных тайтла и дискрипшен. Ненужное всеравно придется через robots запрещать.
Но это уже вопрос не оптимизации, а кастомизации битрикса.

Спасибо за ответ.

Я на данный момент полный ноль в этом деле, поэтому я просто скажу, как я понимаю ситуацию, а если я не прав, вы меня поправьте, хорошо?

Обозначу два момента:

1) Насколько я понял, в роботс.тхт прописываются именно ФАЙЛЫ и папки, а не ссылки (которые в строке браузера). В моем же случае мне надо запретить некоторые страниц и разрешить другие, но все эти страницы идут из одного и того же файла. Как мне запретить часть файла (часть страниц)? Такая возможность технически предусмотрена?

2) Кроме того, запрет в роботс.тхт мне не поможет, поскольку он запретит поисковикам только скачивать напрямую эту страницу. Но если есть ссылка с индексируемых страниц на ту, что я в роботс.тхт запрещаю - поисковик с других, разрешенных страниц перейдет на закрытую и благополучно ее проиндексирует.

Я не прав?

cblcg
На сайте с 28.06.2012
Offline
233
#3
Largass:
Спасибо за ответ.
Я на данный момент полный ноль в этом деле, поэтому я просто скажу, как я понимаю ситуацию, а если я не прав, вы меня поправьте, хорошо?
Обозначу два момента:
1) Насколько я понял, в роботс.тхт прописываются именно ФАЙЛЫ и папки, а не ссылки (которые в строке браузера). В моем же случае мне надо запретить некоторые страниц и разрешить другие, но все эти страницы идут из одного и того же файла. Как мне запретить часть файла (часть страниц)? Такая возможность технически предусмотрена?
2) Кроме того, запрет в роботс.тхт мне не поможет, поскольку он запретит поисковикам только скачивать напрямую эту страницу. Но если есть ссылка с индексируемых страниц на ту, что я в роботс.тхт запрещаю - поисковик с других, разрешенных страниц перейдет на закрытую и благополучно ее проиндексирует.

Я не прав?

1) прописываются ссылки, для яндекса 100% сработает, а вот гугл может брыкнуть и лучше чтобы было запрещение через мета-robots

Просто перечисляйте ссылки если не удается их шаблоном выпилить.

2) нет, т.к. в правилах будет написано что ее нельзя индексировать. Яндекс берет все, а затем оставляет то, что нужно.

Вот кстати только, что закончил сканирование нашего ИМ и яндекс ничего в поиск не взял, что в роботс.тхт было описано, а гугл свыше 150 страниц всосал, несмотря на запрет, а вот еслиб на таких страницах был мета-тег robots то такого скорее всего бы не случилось

Buch777
На сайте с 02.03.2010
Offline
105
#4
Largass:
Спасибо за ответ.
Я на данный момент полный ноль в этом деле, поэтому я просто скажу, как я понимаю ситуацию, а если я не прав, вы меня поправьте, хорошо?
Обозначу два момента:
1) Насколько я понял, в роботс.тхт прописываются именно ФАЙЛЫ и папки, а не ссылки (которые в строке браузера). В моем же случае мне надо запретить некоторые страниц и разрешить другие, но все эти страницы идут из одного и того же файла. Как мне запретить часть файла (часть страниц)? Такая возможность технически предусмотрена?
2) Кроме того, запрет в роботс.тхт мне не поможет, поскольку он запретит поисковикам только скачивать напрямую эту страницу. Но если есть ссылка с индексируемых страниц на ту, что я в роботс.тхт запрещаю - поисковик с других, разрешенных страниц перейдет на закрытую и благополучно ее проиндексирует.

Я не прав?

1. Нет, не правы. По роботс гибкий функционал, там можно и отдельные страницы запрещать, и директории и по куску содержащемуся в урле. В вебмастере яндекса есть проверка настройки роботс

2. По-идее запрещенное в роботсе индексироваться не должно, какая разница есть ссылки на них или нет. Как выше заметили бывают проблемы с гуглом, яндекс обычно хорошо эти директивы отрабатывает.

В основном запрещают индексацию для избежания дублирования, тут иногда 301 редирект лучше подходит.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий