Все вопросы по robots.txt

СМ
На сайте с 10.11.2016
Offline
11
#851

Подскажите в чём проблема с роботс.тхт уже месяца два не могу наладить в Вебмастере выдает ошибку.

23.Disallow: ^/a-*

24.Disallow: xenon-lampa.ru/a-*

25.Disallow: www.xenon-lampa.ru/a-*

Правило начинается не с символа '/' и не с символа '*'

Уже что только и как не меняд

adel92
На сайте с 04.01.2012
Offline
334
#852
Саша М:
Подскажите в чём проблема с роботс.тхт уже месяца два не могу наладить в Вебмастере выдает ошибку.
23.Disallow: ^/a-*
24.Disallow: xenon-lampa.ru/a-*
25.Disallow: www.xenon-lampa.ru/a-*

Правило начинается не с символа '/' и не с символа '*'
Уже что только и как не меняд

нужно экранировать символы обратным слешем \

NVMe VDS (https://well-web.net/nvme-vps) с поддержкой 24/7 - от 545 руб.! Безлимитный хостинг (https://well-web.net/ssd-hosting) - от 129 руб.! Домен в подарок! Перенос бесплатно! Заказывайте сейчас, и получите скидку 50%! Заходи! (https://well-web.net/limited-offers)
melkozaur
На сайте с 06.04.2010
Offline
505
#853

Брр... для Яндекса в роботс.тхт домен нужно указывать вот так:

Host: https://мумурмур.ru

если сайт на https?

А то ругается че-то в вебмастере.

Серверы в NL/US со скидкой 30% нашим читателям: E5-2650v4/10GB DDR4/240GB SSD/1 Gbps - от $20: https://ua-hosting.company/vps/nl SEO без компромиссов: https://seoleaks.net SEOLEAKS - продвижение сайтов: https://www.instagram.com/seoleaks
S
На сайте с 30.09.2016
Offline
469
#854

melkozaur, вроде как да, если иначе недоступно

Директива Host должна содержать:
•Указание на протокол HTTPS, если зеркало доступно только по защищенному каналу (Host: https://myhost.ru).
Отпилю лишнее, прикручу нужное, выправлю кривое. Вытравлю вредителей.
Conan Varvar
На сайте с 06.11.2011
Offline
249
#855

движок вордпресс.

есть страница site.ru/bank/Sberbank

название медиафайла Sberbank.png на странице site.ru/bank/Sberbank

Проблема в том что автоматом в теме генерятся страницы site.ru/Sberbank, где на странице только картинка

и так по всем банкам:

site.ru/Sberbank

site.ru/Avangard

......

Как закрыть от индексации эти страницы с картинками?

1. Нужен качественный трафик? Лучшие тизерные сети! (http://tizernie-seti.ru/тизерные_сети/) 2. Лучший хостинг сайтов!! (http://tizernie-seti.ru/хостинг_сайтов/) 3. Лей на Виагру на свой шоп!! (https://goo.gl/f17SLS) Инвайт dSMP8aVF7jAkmw8F
Chelsea
На сайте с 30.01.2013
Offline
99
#856

Доброго времени суток друзья!

Запустил новый сайт и поставил на него ssl сертификат, теперь стоит вопрос - как правильно задать Host в файле роботс - с https, или без него? На разных сайтах с ssl видел разные варианты - но как правильнее?

Благодарю за ответ!

zhurikzzz
На сайте с 16.09.2012
Offline
102
#857

Правильно:

Host: https://site.ru

adel92
На сайте с 04.01.2012
Offline
334
#858

В Яндекс Вебмастере и гугл консоле не забудьте указывать протокол при добавлении.

Buch777
На сайте с 02.03.2010
Offline
105
#859
Chelsea:
Доброго времени суток друзья!

Запустил новый сайт и поставил на него ssl сертификат, теперь стоит вопрос - как правильно задать Host в файле роботс - с https, или без него? На разных сайтах с ssl видел разные варианты - но как правильнее?
Благодарю за ответ!

с https

10 символов

Chelsea
На сайте с 30.01.2013
Offline
99
#860
Buch777:
с https
10 символов

А что за ограничение в 10 символов? Можно подробнее? Благодарю!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий