Все вопросы по robots.txt

luckyfish123:
как пофиксить?

а что конкретно пофиксить, напишите лучше в виде нужно закрыть от Я и G, а что должно быть открыто.

---------- Добавлено 02.09.2015 в 11:57 ----------

1) host: xn--d1acpjx3f.xn--p1ai

перекодировать в пуникод http://wwhois.ru/punycode.php

2) у каждого домена есть своя папка, в нее и кидайте. Если это зеркало, тогда будет один роботс в нем и указваете главный домен хостом.

Это для Яндекса, для гугла в search console.

---------- Добавлено 02.09.2015 в 11:57 ----------

1) host: xn--d1acpjx3f.xn--p1ai

перекодировать в пуникод http://wwhois.ru/punycode.php

2) у каждого домена есть своя папка, в нее и кидайте. Если это зеркало, тогда будет один роботс в нем и указваете главный домен хостом.

Это для Яндекса, для гугла в search console.

---------- Добавлено 02.09.2015 в 12:02 ----------

User-agent: *
Disallow: /?
Disallow: /print
Disallow: /articles/
Disallow: /404.html
Host: https://www.site.ru
Sitemap: https://www.site.ru/sitemap.xml

Указание на протокол HTTPS, если зеркало доступно только по защищенному каналу (Host: https://myhost.ru)

Disallow: /articles/

учитывайте:

закроет: www.site.ru/articles/ и откроет оставит открытым www.site.ru/articles

Прошу помочь разобраться.

Аудитор сайта написал, что "Файл robots.txt присутствует, но составлен некорректно и в нем отсутствуют некоторые необходимые директивы."

______________________________________

Сейчас у меня файл robots.txt имеет вид:

User-Agent: *

Disallow: /archiw

Allow: /

Sitemap: http://www.burovik.ru/sitemap.xml

Host: www.burovik.ru

______________________________________

У меня вопросы:

1. Какие необходимые директивы отсутствуют?

2. В Яндексе указано главное зеркало www.burovik.ru. Можно ли соединить зеркала www.burovik.ru и burovik.ru? Как? И стоит это делать?

3. Можно ли прописать редирект и Ошибку 404? Как?

закрыть от индексации для всех подчеркнутые урлы

1. Тут вопрос больше к аудитору, и в зависимости от того какую он цель преследует. Роботс - служит для закрытия определенных страниц и разделов, возможно что-то лишнее, смотрите в вебмастерах яндекса и гугла.

2. Через .htaccess

3. Тоже что и в пунк 2.

Здравствуйте друзья! Подскажите, есть сайт на wp, какие папки нужно закрывать в роботс, если я закрою wp-admin, этого достаточно чтобы картинки не индексировались?

Nike999, /ru/forum/634060

Спасибо) не мог найти эту страницу)

еще один вопрос: если я использую disallow и allow, есть разница где ставить эти директивы?

Как должно быть:

Allow:

Disallow: или же наоборот сначала disallow

2. Если я закрываю теги, но несколько оставляю, пишется с "/" в конце или без?

Спасибо!

Здравствуйте.

Хочу уточнить следующее.

Нужно усилить поиск по изображениям в Гугл.

Есть уже robots.txt

c User-agent: *

User-Agent: Googlebot

User-Agent: Yandex

Хочу добавить

User-Agent: Googlebot-Image

Allow: /images/img

img - папка где лежат нужные изображения.

Нужно ли дописать "Allow: /images/img" для User-Agent: Googlebot?

Имеет ли значение где разместить строку User-Agent: Googlebot-Image?

1) если я использую disallow и allow, есть разница где ставить эти директивы?

Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то робот выбирает последнюю в порядке появления в сортированном списке. Таким образом, порядок следования директив в файле robots.txt не влияет на использование их роботом.

При конфликте между двумя директивами с префиксами одинаковой длины приоритет отдается директиве Allow.

2) / - закрывается урл

если нет закрытия / или конца строки $, то поисковик автоматом поставит* - все что идет после будет так же закрыто.

---------- Добавлено 01.10.2015 в 13:03 ----------

Если папка открыта для индексации, зачем её повторно открывать?