- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Хороший сайт попал под санкции Яндекса, изучаю вот что осталось в индексе. Сайт работает на старом самописном движке, генерирующем дублированный контент (в основном категории). С дублями удалось разобраться, но Яндекс непредсказуем :)
Собственно, проблема в том, что проиндексированы страницы типа site.ru/cat - именно без "/" на конце. В robots.txt закрыл все страницы типа site.ru/cat1/cat2/ вот так
Disallow: /20*/*/$ - в качестве категорий используются год + месяц, при этом доступ роботов для индексации конечных страниц /20*/*/text.html открыт
Но эта конструкция все-таки разрешает индексировать страницы типа site.ru/20* и site.ru/20*/* что Яндекс успешно и сделал.
Помогите пожалуйста подкорректировать robots.txt или же настроить редирект в .htaccess для исключения из индекса страниц типа /20* и /20*/* без "/" на конце.
Помогите пожалуйста подкорректировать robots.txt или же настроить редирект в .htaccess для исключения из индекса страниц типа /20* и /20*/* без "/" на конце.
Disallow: /20*/*/
Disallow: /20*/*/
К сожалению, такая команда запретит к индексации все страницы, имеющие в адресе /20*/*/ - в т. ч. и страницы с записями типа /20*/*/post.html. Мне необходимо лишь закрыть (или же средиректить) страницы категорий типа /20* и /20*/*
К сожалению, такая команда запретит к индексации все страницы, имеющие в адресе /20*/*/ - в т. ч. и страницы с записями типа /20*/*/post.html. Мне необходимо лишь закрыть (или же средиректить) страницы категорий типа /20* и /20*/*
Disallow: /20*/*$
а так?
Disallow: /20*/*$
а так?
Опять же запрещены к индексации страницы типа site.ru/2011/08/text.html - проверяю через Яндекс.Вебмастер.
Возможно, поможет хитрый 301-й редирект, может кто-нибудь подскажет как его сделать?
необходимо лишь закрыть (или же средиректить) страницы категорий типа /20* и /20*/*
Вы понимаете, что * - это любая последовательность символов. Вам что надо то?
Disallow: /20*/*$
Глупость последовательности *$ нужно объяснять?
Можно запретить цифры например
cheredov добавил 09.08.2011 в 21:18
Глупость последовательности *$ нужно объяснять?
не нужно, что задали в условии то и написал )))
cheredov добавил 09.08.2011 в 21:19
строка заканчивается чем угодно - офигенное правило я написал конечно, но что ТС надо то?
Суть идеи слабо уловил. Может радикально:
Allow: */$
Allow: *.html
Disallow: /
kimberlit, слишком радикально (:
Суть в том, чтобы сделать что-то со страницами типа site.ru/cat - они есть в индексе Яндекса, не знаю откуда он взял, но из-за них сайт получил санкции. Сам движок создает УРЛы вида site.ru/cat/ со "/" на конце.
Я запретил к индексации страницы рубрик/категорий/годов и пр, которые имеют вид site.ru/cat1/ и site.ru/cat1/cat2/ - где cat1 год создания записи, cat2 - месяц. Сама страница с записью имеет вид site.ru/cat1/cat2/title.html.
Собственно, задача состоит в том, чтобы запретить к индексации страницы вида
а) site.ru/cat1/ и site.ru/cat1/cat2/ с "/" на конце - это уже сделано командой Disallow: /20*/*/$ - но для общей нотификации обозначим ее Disallow: /*/*/$
б) site.ru/cat1 и site.ru/cat1/cat2 - вот с этим возникли проблемы.
При этом страницы с записями типа site.ru/cat1/cat2/title.html необходимо разрешить индексировать. Сам без понятия как это можно реализовать в robots.txt, на ум приходит только 301-й редирект с site.ru/cat1/ на site.ru/cat1 - но в лоб он не работает.
Toan, объяснять ты не умеешь. Фиг его знает что тебе надо.
Запретить все рубрики, но оставить страницы .html?
Allow: /$
Allow: *.html
Disallow: /