- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Ситуация: На сайте есть несколько страниц, которые нужно проинексировать и несколько, которые индексировать не нужно. Сайт сделан на Битриксе таким образом, что и те страницы которые нужно индексировать, и те что не нужно, хранятся в одном файле php. При попытке запретить тегом <meta name="robots" content="noindex"> через настройки страницы в Битриксе - запрещаются ВСЕ страницы относящиеся к этому файлы.
Через файл robots.txt запретить также не получится (а кроме того, бессмысленно).
Вопрос - что делать? Как еще можно запретить индексацию страницы?
Через файл robots.txt запретить также не получится (а кроме того, бессмысленно).
Обычно через robots.txt всё получается, хотя бывают случаи, что очень надо запретить в подразделах всё генерируемое с параметрами кроме нескольких страниц.
Сделать ЧПУ для таких страниц + СЕОприблуду привинтить для прописки нужных тайтла и дискрипшен. Ненужное всеравно придется через robots запрещать.
Но это уже вопрос не оптимизации, а кастомизации битрикса.
Обычно через robots.txt всё получается, хотя бывают случаи, что очень надо запретить в подразделах всё генерируемое с параметрами кроме нескольких страниц.
Сделать ЧПУ для таких страниц + СЕОприблуду привинтить для прописки нужных тайтла и дискрипшен. Ненужное всеравно придется через robots запрещать.
Но это уже вопрос не оптимизации, а кастомизации битрикса.
Спасибо за ответ.
Я на данный момент полный ноль в этом деле, поэтому я просто скажу, как я понимаю ситуацию, а если я не прав, вы меня поправьте, хорошо?
Обозначу два момента:
1) Насколько я понял, в роботс.тхт прописываются именно ФАЙЛЫ и папки, а не ссылки (которые в строке браузера). В моем же случае мне надо запретить некоторые страниц и разрешить другие, но все эти страницы идут из одного и того же файла. Как мне запретить часть файла (часть страниц)? Такая возможность технически предусмотрена?
2) Кроме того, запрет в роботс.тхт мне не поможет, поскольку он запретит поисковикам только скачивать напрямую эту страницу. Но если есть ссылка с индексируемых страниц на ту, что я в роботс.тхт запрещаю - поисковик с других, разрешенных страниц перейдет на закрытую и благополучно ее проиндексирует.
Я не прав?
Спасибо за ответ.
Я на данный момент полный ноль в этом деле, поэтому я просто скажу, как я понимаю ситуацию, а если я не прав, вы меня поправьте, хорошо?
Обозначу два момента:
1) Насколько я понял, в роботс.тхт прописываются именно ФАЙЛЫ и папки, а не ссылки (которые в строке браузера). В моем же случае мне надо запретить некоторые страниц и разрешить другие, но все эти страницы идут из одного и того же файла. Как мне запретить часть файла (часть страниц)? Такая возможность технически предусмотрена?
2) Кроме того, запрет в роботс.тхт мне не поможет, поскольку он запретит поисковикам только скачивать напрямую эту страницу. Но если есть ссылка с индексируемых страниц на ту, что я в роботс.тхт запрещаю - поисковик с других, разрешенных страниц перейдет на закрытую и благополучно ее проиндексирует.
Я не прав?
1) прописываются ссылки, для яндекса 100% сработает, а вот гугл может брыкнуть и лучше чтобы было запрещение через мета-robots
Просто перечисляйте ссылки если не удается их шаблоном выпилить.
2) нет, т.к. в правилах будет написано что ее нельзя индексировать. Яндекс берет все, а затем оставляет то, что нужно.
Вот кстати только, что закончил сканирование нашего ИМ и яндекс ничего в поиск не взял, что в роботс.тхт было описано, а гугл свыше 150 страниц всосал, несмотря на запрет, а вот еслиб на таких страницах был мета-тег robots то такого скорее всего бы не случилось
Спасибо за ответ.
Я на данный момент полный ноль в этом деле, поэтому я просто скажу, как я понимаю ситуацию, а если я не прав, вы меня поправьте, хорошо?
Обозначу два момента:
1) Насколько я понял, в роботс.тхт прописываются именно ФАЙЛЫ и папки, а не ссылки (которые в строке браузера). В моем же случае мне надо запретить некоторые страниц и разрешить другие, но все эти страницы идут из одного и того же файла. Как мне запретить часть файла (часть страниц)? Такая возможность технически предусмотрена?
2) Кроме того, запрет в роботс.тхт мне не поможет, поскольку он запретит поисковикам только скачивать напрямую эту страницу. Но если есть ссылка с индексируемых страниц на ту, что я в роботс.тхт запрещаю - поисковик с других, разрешенных страниц перейдет на закрытую и благополучно ее проиндексирует.
Я не прав?
1. Нет, не правы. По роботс гибкий функционал, там можно и отдельные страницы запрещать, и директории и по куску содержащемуся в урле. В вебмастере яндекса есть проверка настройки роботс
2. По-идее запрещенное в роботсе индексироваться не должно, какая разница есть ссылки на них или нет. Как выше заметили бывают проблемы с гуглом, яндекс обычно хорошо эти директивы отрабатывает.
В основном запрещают индексацию для избежания дублирования, тут иногда 301 редирект лучше подходит.