- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Просмотрев, поиском ya попавшиеся странички не нашел ответа...
Вот такой robots.txt:
Disallow: /DVD
Disallow: /?
Host: site.ru
User-agent: *
Disallow: /DVD
Disallow: /?
Вопросы:
1. Корректно ли? на какую группу директив пойдут роботы?
Вроде группа 2 (с User-agent: *) подходит и для Yandex?
А google-sitemaps-анализ кэшированного robots.txt-результаты разбора
пишет:
2. По косым чертам - как правильнее писать
"Disallow: /DVD" или "Disallow: /DVD/"
Имеется ли разница?
3. Строка "Disallow: /?" подойдет ли что-бы исключить из выдачи поиска (кэша) такую жуть (присутствует сейчас от стандартной формы поиска Ya для сайтов)?
и т.п.
Директива Host: - исключительно Яндекса
Вот так будет правильно: "Disallow: /DVD/" (если Вы хотите запретить к индексированию все файлы в этой папке
Спасибо.
Правильно ли полагаю, "что Disallow: /DVD/" также запретит также индексировани всех подкаталогов внутри? (например, /DVD/2005/)
Спасибо.
Правильно ли полагаю, "что Disallow: /DVD/" также запретит также индексировани всех подкаталогов внутри? (например, /DVD/2005/)
Правильно.
Спасибо.
Правильно ли полагаю, "что Disallow: /DVD/" также запретит также индексировани всех подкаталогов внутри? (например, /DVD/2005/)
Да, именно так.
Как по мне, то как раз наоборот:
/dvd/ запретит исключительно данную страницу
/dvd - со всеми вытекающими последствиями (все подкаталоги)
Не верите - проверьте гуглем
Проверяем.
Disallow
The value of this field specifies a partial URL that is not to be visited. This can be a full path, or a partial path; any URL that starts with this value will not be retrieved. For example, Disallow: /help disallows both /help.html and /help/index.html, whereas Disallow: /help/ would disallow /help/index.html but allow /help.html.
чтоб новую тему не начинать
User-Agent: Yandex
Disallow: /cgi-bin/
Disallow: /cnstats/
Host: www.site.info
User-Agent: *
Disallow: /cgi-bin/
Disallow: /cnstats/
http://www.yandex.ru/cgi-bin/test-robots на него сказал следущее
Запрещена индексация всех URL, начинающихся с указанных префиксов:
/
Индексация сервера site.info:80 запрещена полностью.
в чем глюк?
------------ добавлено
вводил без www. с www все правильно показывает.
проверил, без www тот же роботс отдается. не понимаю, как интерпретировать.
Проверяем.
Disallow
The value of this field specifies a partial URL that is not to be visited. This can be a full path, or a partial path; any URL that starts with this value will not be retrieved. For example, Disallow: /help disallows both /help.html and /help/index.html, whereas Disallow: /help/ would disallow /help/index.html but allow /help.html.
Дык я это ж и написал...