Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 20.05.2019, 13:47   #301
TatianaBO
Студент
 
Регистрация: 17.05.2019
Сообщений: 5
Репутация: 10

По умолчанию Re: Все вопросы по robots.txt - 2

Не знаю может конечно уже был такой вопрос: надо открывать для индексации css и js скрипты в robots?
TatianaBO вне форума   Ответить с цитированием

Реклама
Старый 21.05.2019, 08:17   #302
Brutality
Любопытный
 
Аватар для Brutality
 
Регистрация: 06.01.2011
Адрес: ru
Сообщений: 827
Репутация: 136162

По умолчанию Re: Все вопросы по robots.txt - 2

TatianaBO, Гугл рекомендует не закрывать, чтобы он мог правильно отрисовать страницу, например, чтобы корректно пройти тот же mobile friendly тест
Brutality вне форума   Ответить с цитированием
Старый 21.06.2019, 09:02   #303
dotern
Профессор
 
Аватар для dotern
 
Регистрация: 21.09.2016
Сообщений: 869
Репутация: 44367

По умолчанию Re: Все вопросы по robots.txt - 2

Есть две версии сайта:
site.ru
m.site.ru

В m.site.ru/robots.txt стоит Host: http://site.ru

Наткнулся на информацию, что нужно ставить Host: http://m.site.ru

Так как всё-таки правильно?
dotern вне форума   Ответить с цитированием
Старый 21.06.2019, 10:16   #304
Brutality
Любопытный
 
Аватар для Brutality
 
Регистрация: 06.01.2011
Адрес: ru
Сообщений: 827
Репутация: 136162

По умолчанию Re: Все вопросы по robots.txt - 2

Цитата:
Сообщение от dotern Посмотреть сообщение
Так как всё-таки правильно?
никак)

Цитата:
Как мы писали ранее, мы отказываемся от директивы Host. Теперь эту директиву можно удалять из robots.txt
https://webmaster.yandex.ru/blog/301...direktivu-host
Brutality вне форума   Ответить с цитированием
Старый 26.06.2019, 06:41   #305
devito
Абитуриент
 
Регистрация: 26.06.2019
Сообщений: 4
Репутация: 10

По умолчанию Какую команду нужно прописать в robots.txt

Здравствуйте у меня в индексе куча страниц а по факту в три раза меньше из -за рубрик и их архивов. Подскажите пожалуйста какое действие нужно прописать в robots.txt на примере этой страницы https://vashigrezi.ru/category/uxod-za-kozshei/page/19/
devito вне форума   Ответить с цитированием
Старый 26.06.2019, 12:40   #306
Ingref
SEO-аудиты: ingref@ya.ru
 
Аватар для Ingref
 
Регистрация: 05.09.2007
Сообщений: 3,025
Репутация: 137718

По умолчанию Re: Какую команду нужно прописать в robots.txt

Можно вообще всю пагинацию запретить:

User-agent: *
Disallow: /category/*/page/

Но вообще, надо сделать так, чтобы таких пустых страниц не возникало.
__________________
Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей!
Отзывы клиентов тут, почта для связи: ingref@ya.ru
Посмотрю, в чём проблема с вашим сайтом, за 100 рублей.
Ingref вне форума   Ответить с цитированием
Старый 26.06.2019, 14:17   #307
devito
Абитуриент
 
Регистрация: 26.06.2019
Сообщений: 4
Репутация: 10

По умолчанию Re: Какую команду нужно прописать в robots.txt

Цитата:
Сообщение от Ingref Посмотреть сообщение
Можно вообще всю пагинацию запретить:

User-agent: *
Disallow: /category/*/page/

Но вообще, надо сделать так, чтобы таких пустых страниц не возникало.
Эта страница пагинации с утра была еще. Я просто не знал как сделать чтобы в рубрике выводились сразу все страницы а не одна как было
devito вне форума   Ответить с цитированием
Старый 26.06.2019, 14:55   #308
ruslan_1991
Аспирант
 
Регистрация: 25.01.2018
Адрес: Washington
Сообщений: 113
Репутация: 5010

По умолчанию Re: Какую команду нужно прописать в robots.txt

Админ пожалуйста удалите это сообщение с темой ошибся .
ruslan_1991 вне форума   Ответить с цитированием
Старый 26.06.2019, 15:02   #309
Slava1123
Студент
 
Регистрация: 10.05.2019
Адрес: Москва
Сообщений: 5
Репутация: 10

По умолчанию Re: Все вопросы по robots.txt - 2

Для России и стран СНГ, где доля Яндекса ощутима, следует прописывать директивы для всех роботов и отдельно для Яндекса и Google.
Чтобы правильно настроить robots.txt воспользуйтесь следующим алгоритмом:
Закройте от индексирования админку сайта
Закройте от индексирования личный кабинет, авторизацию, регистрацию
Закройте от индексирования корзину, формы заказа, данные по доставке и заказам
Закройте от индексирования ajax, json-скрипты
Закройте от индексирования папку cgi
Закройте от индексирования плагины, темы оформления, js, css для всех роботов, кроме Яндекса и Google
Закройте от индексирования функционал поиска
Закройте от индексирования служебные разделы, которые не несут никакой ценности для сайта в поиске (ошибка 404, список авторов)
Закройте от индексирования технические дубли страниц, а также страницы, на которых весь контент в том или ином виде продублирован с других страниц (календари, архивы, RSS)
Закройте от индексирования страницы с параметрами фильтров, сортировки, сравнения
Закройте от индексирования страницы с параметрами UTM-меток и сессий
Проверьте, что проиндексировано Яндексом и Google с помощью параметра «site:» (в поисковой строке наберите «site:site.ru»). Если в поиске присутствуют страницы, которые также нужно закрыть от индексации, добавьте их в robots.txt
Укажите Sitemap и Host
По необходимости пропишите Crawl-Delay и Clean-Param
Проверьте корректность robots.txt через инструменты Google и Яндекса (описано ниже)
Через 2 недели перепроверьте, появились ли в поисковой выдаче новые страницы, которые не должны индексироваться. В случае необходимости повторить выше перечисленные шаги.
Slava1123 вне форума   Ответить с цитированием
Старый 27.06.2019, 08:05   #310
Miha Kuzmin (KMY)
Аудиты, консультации
 
Аватар для Miha Kuzmin (KMY)
 
Регистрация: 05.05.2003
Адрес: Чехов
Сообщений: 31,110
Репутация: 2073956

По умолчанию Re: Все вопросы по robots.txt - 2

Цитата:
Сообщение от Slava1123 Посмотреть сообщение
Закройте от индексирования служебные разделы, которые не несут никакой ценности для сайта в поиске (ошибка 404, список авторов)
Закройте от индексирования технические дубли страниц, а также страницы, на которых весь контент в том или ином виде продублирован с других страниц (календари, архивы, RSS)
Закройте от индексирования этот бред.
__________________
Профессиональные SEO-аудиты, консультации - сделай себе и сайту подарок к лету, подними позиции и траф! Серчанам скидка 25%!
Miha Kuzmin (KMY) вне форума   Ответить с цитированием
Ответ

Метки
clean , param , robots , robots.txt , seo



Опции темы

Быстрый переход


Регистрация Справка Календарь Поддержка Все разделы прочитаны