Все вопросы по robots.txt

Станислав Романенко
На сайте с 05.09.2007
Offline
325
#791

Disallow: /*order_type
Disallow: /*?start=*
Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей! Отзывы клиентов тут (https://searchengines.guru/ru/forum/939454), почта для связи: ingref@ya.ru Посмотрю, в чём проблема с вашим сайтом, за 100 рублей (https://searchengines.guru/ru/forum/comment/15662080).
yonen
На сайте с 18.12.2015
Offline
99
#792
Ingref:
Disallow: /*order_type

Disallow: /*?start=*

Спасибо огромное

Профиль - Интернет магазины, электронная коммерция. Профессиональный Аудит от 10 000 руб.
GN
На сайте с 20.01.2016
Offline
17
#793

Добрый день всем! Из данного раздела много понял и принял к сведению, спасибо всем, кто не ленится объяснять новичкам нюансы работы Robots.txt. Но у меня так же остались вопросы, на которые я не нашёл ответов:

1) Если в поисковую выдачу попали сопли: /feed (940 шт); /pages (400) и /tags (около 240) и я закрыл их в robots.txt (кроме /*page), выпадут ли эти страницы после переобхода роботом из ПС или нет? Проблема актуально только для Яндекса. Гугл соплей не затянул в ПС.

2) Правильно ли у меня прописан роботс?

User-agent: *

Disallow: /wp-admin

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /feed/

Disallow: */feed

Disallow: */trackback

Disallow: */comments

Disallow: /go/

Disallow: /*?

Disallow: /*?*

Disallow: /tag

Disallow: /search

Crawl-delay: 10

Host: сайт

Sitemap: сайт/sitemap.xml

3) Не нашёл однозначного и толкового ответа относительно надобности закрытия пагинации от ПС для информационного сайта?

Заранее спасибо!

O
На сайте с 29.05.2008
Offline
195
#794

Здравствуйте.

Подскажите, Яндекс выдает ошибку на следующее содержание robots.txt.

В упор, не могу понять в чем ошибка - может пробел где-то не там или протокол не нужно указывать?

Сайт доступен и по HTTP и по HTTPS, в Host указан адрес с HTTPS.

[ATTACH]156407[/ATTACH]

[ATTACH]156408[/ATTACH]

jpg 156407.jpg
jpg robots.txt.jpg
Alexander22
На сайте с 05.09.2013
Offline
45
#795

уберите https://

его прописывают только в сайтмап

Kronbberg
На сайте с 14.03.2011
Offline
62
#796

На версии https и http директивы Host ведут на https сайт?

::::::::::LinkBoss.net - Трастовые ссылки для увеличения трафика в 10 раз! (http://linkboss.net/)::::::::::
A
На сайте с 03.02.2007
Offline
138
#797
Alexander22:
уберите https://
его прописывают только в сайтмап

Хост указан верно, если есть https, то это надо указывать - https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#host

А ошибка такая происходит из-за того, что в панели вебмастера сайт добавлен c http

Нужно добавить с https.

Kronbberg
На сайте с 14.03.2011
Offline
62
#798
Alexander22:
уберите https://

Ничего подобного https://yandex.ru/blog/platon/2778

Указать адрес желаемого главного зеркала с помощью директивы Host в файле robots.txt. Например: Host: https://site.ru
O
На сайте с 29.05.2008
Offline
195
#799
alexbez:
А ошибка такая происходит из-за того, что в панели вебмастера сайт добавлен c http
Нужно добавить с https.

Добавлены обе версии.

Ошибка присутствует и для HTTPS версии сайта.

A
На сайте с 03.02.2007
Offline
138
#800
ortegas:
Добавлены обе версии.
Ошибка присутствует и для HTTPS версии сайта.

А когда настроен редирект с http на https? Судя по кешу гугла - не очень давно.

У меня было также на нескольких доменах при переезде на https, ошибка пропала, когда сменилось главное зеркало и в выдаче появилась версия с https.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий