- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Правильно ли я понимаю, что директива
Disallow: */index.php
запрещает к индексации только файл index.php
а:
Disallow: /*index.php$
все урлы оканчивающиеся на index.php?
Не правильно. Она запрещает все адреса содержащие index.php - /index.php?cat=1.
А вот вторая да - оканчивающиеся на index.php.
Всем привет. Подскажите, пожалуйста, как правильно создать robots.txt для сайта, который был создан на CMS yugo martin. Спасибо.
Не знаю причем здесь CMS.
В стандартном роботсе указывается:
User-agent: - определяет правила для всех или одного поискового робота
Disallow: - закрывает от индексации нужные разделы
Host: - указывает роботу главное зеркало
Sitemap: - карта сайта
как правильно создать robots.txt
xenu проверте все ссылки сайта. Посмотрите какие страницы есть и будете примерно знать, что закрывать.
Я хочу исключить страницы с решеткой (запись/#more-21 и запись/#comments), теги, страницы навигации с главной и рубрик (/page/2/ и т.д). Сайт на вордпрессе (если имеет значение).
Будет ли робтс, который ниже, правильным или нужно прописывать отдельно по ПС все расписывать?
User-agent: Yandex
Disallow:
HOST: site.ru
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /#*
Disallow: /*?dem
Disallow: /tag
Disallow: /page
Disallow: /wp-includes/wlwmanifest.xml
Disallow: /xmlrpc.php?rsd
Добрый день, Знатоки!
Подскажите пожалуйста, может ли прописанный на страницах сайта тег
<meta name="Robots" content="noarchive, index" /> быть причиной ошибки при запросе кэша страницы(cache:site.ru)? т.к. страница уже давно в индексе, но кеш постоянно выдает ошибку.
Заранее благодарен!
---------- Добавлено 03.02.2014 в 23:59 ----------
sorry, туплю, он ведь для этого и используется насколько я понял!
Вопрос в том, может ли он как-то негативно влиять на ранжирования сайта в целом непосредственно Googlom?
Читал на бурж форумах что вроде этот тег часто используется при клоакинге и может стать тревожным звоночком для гугла.
Есть у кого опыт по использованию?
А для чего собственно вы используете данный мета тег? если вам нужно закрыть сайт от веб архива просто в
robots.txt пропишыте :
User-agent: ia_archiver
Disallow: /
как запретить в Robots.txt индексацию страниц с решеткой в конце?? вида site.ru/kakoitourl#
Disallow: */# - запрещает все :(
Решётка для браузеров, а не для роботов.
как запретить в Robots.txt индексацию страниц с решеткой в конце?? вида site.ru/kakoitourl#
А кто тебе сказал, что якорь попадает в индекс?