- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день. В поиске Google, если вбить site:moisite.ru выскакивает сообщение "Мы скрыли некоторые результаты, которые очень похожи на уже представленные выше (1)." Если открыть скрытую вкладку, то там отображается страница "moisite.ru/feed". В robots.txt есть записи:
Disallow: /feed/
Disallow: */feed
Почему дубли статей попадают в индекс? На сайте стоит рассылка feedburner.
Помогите разобраться.
пометка есть что страница запрещена в роботс?
Ну да, такие записи есть в robots:Disallow: /feed/
Disallow: */feed. Если проверить страницу moisite.ru/feed, то выводится сообщение:запрещено. Но google robots игнорирует и, соответственно, инденсирует.
Если robots.txt составлен корректно, то в сниппете таких страниц должно быть указано: "Описание веб-страницы недоступно из-за ограничений в файле robots.txt."
https://support.google.com/webmasters/answer/156449?hl=ru
djotr, /ru/forum/837572 с 27го сообщения почитайте. Там все с примерами про роботс.
Если robots.txt составлен корректно, то в сниппете таких страниц должно быть указано: "Описание веб-страницы недоступно из-за ограничений в файле robots.txt."
https://support.google.com/webmasters/answer/156449?hl=ru
Так и указано.
djotr, /ru/forum/837572 с 27го сообщения почитайте. Там все с примерами про роботс.
Конкретного решения не увидел.
djotr, тему читали? там все расписано было.
Начнем с того, что robots.txt запрещает сканировать, а не индексировать. Если страницы уже были в индексе, через роботс их не выплюнуть.