- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте,
У меня такой вопрос.. Есть файл robots.txt, в котором содержатся условия:
User-agent: *
Disallow: /*page*/
Disallow: /*comment*/
Ранее Гугл эти страницы не индексировал, но с недавнего времени начал, что создает ошибки в разделе Вебмастера "Оптимизация html" - повторяющееся метаописание и повторяющиеся заголовки.
Я уже даже специально добавил более точные команды с точным указанием страниц, которые не надо индексировать:
Disallow: /comment-page-1/
Disallow: /comment-page-2/
Disallow: /comment-page-3/
Но он все равно продолжает это делать.
Возможно, проблема появилась после того, как добавил в файл вот такое условие:
User-agent: Googlebot
Allow: /*.js
Allow: /*.css
Allow: /css/
Allow: /js/
А добавил я его, когда пришло письмо:
Подскажите, как решить данную проблему? Запретить индексацию страниц с комментариями, дублирующих заголовки?
проверь страницы через
Инструмент проверки файла robots.txt
в консоли
Возможно, проблема появилась после того, как добавил в файл вот такое условие:
User-agent: Googlebot
Allow: /*.js
Allow: /*.css
Allow: /css/
Allow: /js/
это зачем? Кто вам такое насоветовал?
Как последнее время замечаю, гугл сейчас все индексирует.
проверь страницы через
Инструмент проверки файла robots.txt
в консоли
Ошибок при проверке нет, все хорошо.
это зачем? Кто вам такое насоветовал?
Этот вариант нашел на каком-то сайте. С ним, если посмотреть сайт как гуглбот, получается практически так, как и должно выглядеть. Без этого - получается простой текст, не особо смотрибельный.
это зачем? Кто вам такое насоветовал?
https://support.google.com/webmasters/answer/35769?hl=ru#technical_guidelines
fingeniy, вам необходимо при помощи мета-тегов запрещать индексацию. Роботс действительно не всегда гарантирует решение проблемы, особенно, если дубли проиндексированы.
https://support.google.com/webmasters/answer/93710?hl=ru
Всем привет. Подскажите такой вопрос. я далек от создания сайтов(только учусь) вот такой robot.txt
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /wp-includes
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: www.мой сайт
Sitemap: http://мой сайт/sitemap.xml
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: YandexImages
Allow: /wp-content/uploads/
делал его по урокам найденым на просторах интернета
Всем привет. Подскажите такой вопрос. я далек от создания сайтов(только учусь) вот такой robot.txt
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /wp-includes
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: www.мой сайт
Sitemap: http://мой сайт/sitemap.xml
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: YandexImages
Allow: /wp-content/uploads/
делал его по урокам найденым на просторах интернета
В чём заключается вопрос?
В чём заключается вопрос?
Два раза писал вопрос почему то не появлялся( вопрос такой: данный robots.txt нормальный для обычного блога?
Роботс - это только рекомендации для бота.
Роботс - это только рекомендации для бота.
Полностью согласен.
ПС не обязаны следовать инструкциям robots.txt, т.к. последние носят чисто рекомендательный характер.
Тем не менее, robots.txt можно составить двумя способами:
По первому случаю функционирует, например, Серч. А по второму - Рутрекер.
Если что пишите - помогу ;)