Все вопросы по robots.txt - 2

Д1
На сайте с 04.12.2018
Offline
0
#201

Добрый вечер, многие проверки выдают ошибку..Помогите разобраться чем их не устраивает robots... сайт vision-system.ru

S
На сайте с 01.12.2017
Offline
118
#202

Директиву Host можете убрать, она не актуальна на сегодняшний день для яндекса, а google ее всегда игнорировал. Пустую строку оставьте, потому как Sitemap: пишется в самом низу и через строку

AV
На сайте с 06.12.2018
Offline
3
#203

Подскажите, нужно ли закрывать от индексирования /tag, /page , категории ?

Сейчас файл robots.txt выглядит так :

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Host: https://marketer.by

Sitemap: https://marketer.by/sitemap_index.xml

Может быть что-то добавить нужно ? Почему-то органического трафика нет вообще(

Сайт marketer.by http://marketer.by

[Удален]
#204

Привет.Подскажите с robots

Мне нужно закрыть все теги, но пару тегов оставить открытыми, как правильно?

№1

User-agent: *

Allow: /tags/2018/

Disallow: /tags/*

или

№2

User-agent: *

Disallow: /tags/*

Allow: /tags/2018/

В Яндекс вебмастере показывает №! и №2 правильно.

L
На сайте с 16.03.2012
Offline
296
lkm
#205

3+2 или 2+3? Как правильнее?

[Удален]
#206
lkm:
3+2 или 2+3? Как правильнее?

И так и так правильно.

Я где то слышал что деректива Allow: долна прописываться первой, вот уточняю.

SmileP
На сайте с 18.02.2010
Offline
355
#207

Совместное использование директив

Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то робот выбирает последнюю в порядке появления в сортированном списке. Таким образом, порядок следования директив в файле robots.txt не влияет на использование их роботом.

Отсюда: https://yandex.ru/support/webmaster/robot-workings/allow-disallow.html

[Удален]
#208
SmileP:
Совместное использование директив
Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то робот выбирает последнюю в порядке появления в сортированном списке. Таким образом, порядок следования директив в файле robots.txt не влияет на использование их роботом.

Отсюда: https://yandex.ru/support/webmaster/robot-workings/allow-disallow.html

И еще что написано

Примечание. При конфликте между двумя директивами с префиксами одинаковой длины приоритет отдается директиве Allow.

Значит у меня так не чего не получится?

slavok
На сайте с 28.10.2008
Offline
131
#209
roman48:

Значит у меня так не чего не получится?

Всё получится, верь в себя!

Возьму пару проектов на продвижение с накруткой ПФ, недорого. Писать в ЛС
SmileP
На сайте с 18.02.2010
Offline
355
#210
roman48:
Значит у меня так не чего не получится?

Allow вроде был в приоритете. В хелпе сейчас этого нет.

Должно работать. Плюс можно проверить в вебмастере

https://webmaster.yandex.ru/site/tools/robotstxt/

---------- Добавлено 11.12.2018 в 11:29 ----------

Для гугла инструмент проверки роботс:

https://support.google.com/webmasters/answer/6062598

И в хелпе Гугла есть такое:

Файл robots.txt не предназначен для блокировки показа веб-страниц в результатах поиска Google. Если на других сайтах есть ссылки на вашу страницу, содержащие ее описание, то она все равно может быть проиндексирована, даже если роботу Googlebot запрещено ее посещать. Чтобы исключить страницу из результатов поиска, следует использовать другой метод, например защиту паролем или директиву noindex.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий