- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть ресурс, основан на движке WordPress.
Недавно в файл robot.txt добавили следующую информацию, которую, как советуют, необходимо добавлять что бы поисковые роботы данные вещи не сканировали.
Вот что написано в моем файле robot.txt:
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: /trackback
Disallow: */feed
Disallow: /feed
Disallow: */comments
Disallow: /comments
Host: www.gos-tuning.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: /trackback
Disallow: */feed
Disallow: /feed
Disallow: */comments
Disallow: /comments
Sitemap: http://www.gos-tuning.ru/sitemap.xml
Яндекс добавил к исключенным страницам порядка 600 страниц такого типа:
/audi/a4/tuning-obves-rieger-audi-a4-r02-0007/feed/
Захожу в админку проверяю конкретную ссылку, ничего подобного нет. Ссылка в порядке и на конце FEED никакого нету.
Пожалуйста подскажите что это такое или это какая то особенность WordPress и как это решать.
Disallow: /wp-feed
Видимо в этом дело. Feed это лента новостей для rss если мне память не изменяет, они и ушли.
вот только что нашел.
в запрещенных страницах:
/bmw/x1/feed
в индексированных страницах:
www.gos-tuning.ru/bmw/x1
Получается сама страница в индексе, а RSS лента в запрете.
Т.Е. я так понимаю все это правильно.
Абсолютно верно, это делает для того, чтобы избежать появления дублей страниц.
Все правильно запретило.
Я вообще фид обрезаю до минимума на вп сайтах.
Зачем вам дубли в индексе?
интересно, все те, кто запрещают rss feed к индексации, зачем это делают? Вы много в серпе выдали фидов? Я ни одного, и думаю и не увижу никогда :)
donc, я запрещаю рсс фид к индексации.
И не важно много я их видел или мало. Дубли контента - не гуд.