- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Как запретить индексирование подразделов сайта без запрета индексирования главной страницы этого раздела?
Т.е. например есть раздел /test/ и в нем например вот такие подразделы:
/test/a/
/test/b/
/test/lala.htm
/test/?go=out
Допустим таких разделов достаточно большое число, поэтому в каждую страничку в meta прописывать robot noindex лениво, да и не правильно заставлять рробота грузить страничку если она ему не нужна.
Можно ли это сделать с помощью robots.txt?
читай
TaraNTino,
попробуйте ;-))
Disallow: /test/a
Disallow: /test/b
Disallow: /test/c
Disallow: /test/d
Disallow: /test/e
.....
Disallow: /test/x
Disallow: /test/y
Disallow: /test/z
+
Disallow: /test/?
читай
Отлично, гугля понимает регулярные выражения, а как с этим у яндекса/рамблера?
TaraNTino,
попробуйте ;-))
Disallow: /test/a
Disallow: /test/b
Disallow: /test/c
Disallow: /test/d
Disallow: /test/e
.....
Disallow: /test/x
Disallow: /test/y
Disallow: /test/z
+
Disallow: /test/?
А еще
Disallow: /test/0
...
Disallow: /test/9
И еще насколько я помню рамблер у меня при одной строчке
Disallow: /test/?
запрещал индексирование всего раздела вместе с подразделами.
Disallow: /test/?
запрещал индексирование всего раздела вместе с подразделами.
Т.е. Рамблер индексировал кроме /test/?... еще и /test/ и /test/0 ... /test/z ?
Если это действительно так (т.е. сможете доказать) - с чистой совестью пишите баг-репорт в Рамблер.
NULL, с год назад в рамках борьбы с дубликатами на сайте добавил в robots.txt строчку "Disallow: /?" Вскоре из Рамблера практически весь сайт вывалился, только новостей немного осталось в базе... написал, спросил в чём дело. Ответили только что я сам запретил индексацию. Предположил что этой строкой как раз, убрал, страницы снова появились в базе. И еще раз написал, спрашивал почему такая запись запрещает индексацию, где об этом написано. В ответ тишина. Им, видимо, свои баги править не надо.
Спасибо, запомним ...
В рамках "доктрины вежливости" лучше недобрать в индекс чем перебрать. 😂