- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем привет
у меня есть блог на ВП. Я заметил, что в кеше поисковиков проиндексировано много страниц моего блога которые создают дубли с контентом, это рубрики и архивы. Я закрыл их для поисковиков добавив в robots.txt несколько пунктов, в том числе и Disallow: /category/
А теперь вопрос. Робот приходит на мою главную страницу, что бы найти и проиндексировать новые статьи, и заходит по ссылкам мои рубрик, в которых есть новые статьи, но рубрики имеют адрес
http://my-site.com/category/my-rubric/
то есть получается что робот по этим ссылкам не пройдет, потому что у меня в robots.txt есть строка Disallow: /category/
и значит не сможет найти и проиндексировать новую запись.
Правильно я понимаю? или я что то путаю? может этту запись нужно убрать в robots.txt???
Всем привет
у меня есть блог на ВП. Я заметил, что в кеше поисковиков проиндексировано много страниц моего блога которые создают дубли с контентом, это рубрики и архивы. Я закрыл их для поисковиков добавив в robots.txt несколько пунктов, в том числе и Disallow: /category/
А теперь вопрос. Робот приходит на мою главную страницу, что бы найти и проиндексировать новые статьи, и заходит по ссылкам мои рубрик, в которых есть новые статьи, но рубрики имеют адрес
http://my-site.com/category/my-rubric/
то есть получается что робот по этим ссылкам не пройдет, потому что у меня в robots.txt есть строка Disallow: /category/
и значит не сможет найти и проиндексировать новую запись.
Правильно я понимаю? или я что то путаю? может этту запись нужно убрать в Disallow: /category/ ???
Да, Вы правильно понимаете.
Уберите эту строку и закройте в файле robots.txt только дубли.
так дело в том, что текст который есть в рубрике по адресу
http://my-site.com/category/my-rubric/
уже является дублем текста статьи. Потому что в рубрике есть по 4-7 первых предложений со статьи.
marininrm, робот найдёт страницы постов не только со страницы рубрики. Например, с главной, через sitemap ...
Здравствуйте,чтобы не флудить и не создавать новую тему решил воспользоваться этой и написать тут,вообщем есть сайт его robot.txt выглядит так:
User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /cgi-bin/
Disallow: /templates/
Disallow: /engine/
Disallow: /forum/
Disallow: /languages/
Sitemap: http://здесь название этого сайта.ru/sitemap.xml
User-agent: Yandex
Host: здесь название этого сайта.ru
Слова здесь название этого сайта,естественно заменены доменом,неподумайте,что так и написано)))))
Хотелось бы узнать правильно ли он сделан?PS сайт на DLE
naiveleti,
ЗЫ и должно быть robots.txt а не robot.txt ;)
naiveleti,
ЗЫ и должно быть robots.txt а не robot.txt ;)
Это опечатка просто ;)
Тоесть должно выглядеть так
User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /cgi-bin/
Disallow: /templates/
Disallow: /engine/
Disallow: /forum/
Disallow: /languages/
Sitemap: http://здесь название этого сайта.ru/sitemap.xml
User-agent: Yandex
Disallow: /engine/
Host: здесь название этого сайта.ru
Или яндекс по этому роботу уже не будет индексировать те категории которые не будут индексировать другие ПС?
не будет, * относится и к яндексу. но повтор это не проблема. =)
naiveleti,
* относится и к яндексу.
В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются.
naiveleti, в соответствии со стандартом перед каждой директивой 'User-agent' рекомендуется вставлять пустой перевод строки.