- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Хочу в Wordpress закрыть
domain.ru/page/1/
domain.ru/page/2/
и тп
robots.txt
User-agent: Googlebot
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
User-agent: *
Disallow: /page
как бы всё что содержит page - Закрыто для всех поисковых ботов умеющих читать robots.txt.
Но в гугль проиндексировал page.
Можно конечно все линки на Next Page сделать через nofollow, но есть же robots.
Всем заранее благодарен за советы.
Хочу в Wordpress закрыть
domain.ru/page/1/
domain.ru/page/2/
и тп
robots.txt
User-agent: Googlebot
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
User-agent: *
Disallow: /page
как бы всё что содержит page - Закрыто для всех поисковых ботов умеющих читать robots.txt.
Но в гугль проиндексировал page.
Можно конечно все линки на Next Page сделать через nofollow, но есть же robots.
Всем заранее благодарен за советы.
1. у вас domain.ru/page/2/, я бы закрыла так:
Disallow: */page/*
2. закрыто - это только рекомендация поисковикам, они могут просканить и загнать в индекс - на их усмотрение
3. Зачем закрывать постраничную навигацию?! Постраничная верстка rel=«next|prev»
ТС, проверьте через специальную форму в вебмастере, закрыты ли эти страницы. Есть вероятность, что гугл зашёл до того, как вы закрыли эти страницы.
Закрыто для всех поисковых ботов умеющих читать robots.txt.
User-agent: Googlebot
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
User-agent: *
Disallow: /page
Но в гугль проиндексировал page.
Не удивительно, http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml
Бот читает или свою секцию, или обещаю секцию если не найдена первая
Бот читает или свою секцию, или общую секцию если не найдена первая
siv1987, я исправил автоочепятку
+ оттуда же:
1. у вас domain.ru/page/2/, я бы закрыла так:
Disallow: */page/*
Ппц... Обе звездочки лишние, зачем вы даете советы, если ничего не понимаете в этом?
Извиняюсь за оффтоп.
siv1987, прав. Укажите запрет и для гуглбота.