bulatbulat48

Рейтинг
94
Регистрация
27.04.2012
Все вопросы по robots.txt
almazbabaika:
Здравствуйте, форумчане. Нужна ваша подсказка. Попробую покороче,хоть и не умею. Есть сайт на CMS 1С-Битрикс. Домену 3 года.И тут проблема в том,что в Яндексе выдает домен http://www.guardian-store.ru/ а в Гугле http://www.guardianstore.ru/ Я недавно(2 недели назад) залил новый robots.txt. с host: http://www.guardian-store.ru/ (именно этот домен нужно продвигать). Думал причина в этом,но так Гугл и не индексирует. Может времени мало прошло?
Все ли я правильно сделал? Знаете, еще я с корневой папки не удалил старый robots.txt ,который ставили разработчики. Может нужно удалить все старые и залить только потом новый robots.txt?

Попросили меня помощь, т.к. имел совсем малюсенький опыт продвижения сайтов. Но, я никогда не делал техническую оптимизацию,все было правильно настроено до меня.

Подскажите в чем причина?
Спасибо.

Гугл индексирует

По поводу удалили или нет файл, а как может быть два файла robots.txt?

В вебмастере (серч консоль) есть возможность обновить файл robots.txt

---------- Добавлено 21.11.2015 в 18:48 ----------

River:
Подскажите, как правильно закрыть
mail.DOMEN.ru
Так правильно
Disallow: mail.DOMEN.ru

вот так правильно:

User-agent: *

Disallow: /

Новый интерфейс Яндекс.Вебмастер (Бета)

Обновили бетку..

Все вопросы по robots.txt
Anibrut:
Что бы усилить. Потому что как то слабо именно эта папка индексируется.

Роботс.тхт не используется для данных целей, используйте аддурилки вебмастеров, или нагонщики роботов, быстророботов.

---------- Добавлено 13.10.2015 в 21:29 ----------

drysha25:
Добрый вечер, форумчане.

Подскажите пожалуйста, как в роботс закрыть дубли категорий.

Например, категория футболок:
Ссылки имеют такую форму:

/products/category/1881601
/products/category/1881601/page/2?
/products/category/1881601/page/3?
/products/category/1881601/page/4?

Как я понимаю, для поисковиков это надо закрывать?

Заранее большое спасибо!

какую страницу хотите оставить как основную?

---------- Добавлено 13.10.2015 в 21:32 ----------

savikrds123:
дравствуйте у меня такой вопрос
Домен был на юкозе прошло больше месца и с поисковиков начали приходить посетители я решил перенести домен на платный хостинг в итоге получилось

Страницы запрещены к индексированию вебмастером или не существуют
Документ запрещен в файле robots.txt
Когда открываю мой сайт /robots.txt иконка юкоз
Подскажите пожалуйста в чем проблема



robots.txt
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /eros
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /cams.html
Host: мой сайт

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /comments/
Disallow: /feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /cams.html

Sitemap: мой сайт/sitemap.xml

Данный файл не закрывает полностью содержимое сайта. Либо скиньте урлы для проверки.

Вероятнее всего проблема в Метатеге robots.

robots.txt вопрос WP
Anonyk:
Может кто знает? Пожалуйста, есть здесь выход? Или это такая фигня на вордпрессе? с ссылками на комментарии

User-agent: *

Disallow: *replytocom

Хеш-теги через роботс не закроете, используйте каноникал или метатеги-роботс.

---------- Добавлено 03.10.2015 в 14:04 ----------

Optismile:
Anonyk, добавьте в robots
Disallow: /*?*
Disallow: /*#*

Аккуратнее: данный пример закроет весь сайт.

Все вопросы по robots.txt
Nike999:
еще один вопрос: если я использую disallow и allow, есть разница где ставить эти директивы?
Как должно быть:
Allow:
Disallow: или же наоборот сначала disallow

2. Если я закрываю теги, но несколько оставляю, пишется с "/" в конце или без?

Спасибо!

1) если я использую disallow и allow, есть разница где ставить эти директивы?

Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то робот выбирает последнюю в порядке появления в сортированном списке. Таким образом, порядок следования директив в файле robots.txt не влияет на использование их роботом.

При конфликте между двумя директивами с префиксами одинаковой длины приоритет отдается директиве Allow.

2) / - закрывается урл

если нет закрытия / или конца строки $, то поисковик автоматом поставит* - все что идет после будет так же закрыто.

---------- Добавлено 01.10.2015 в 13:03 ----------

Anibrut:
Здравствуйте.
Хочу уточнить следующее.
Нужно усилить поиск по изображениям в Гугл.

Есть уже robots.txt
c User-agent: *
User-Agent: Googlebot
User-Agent: Yandex

Хочу добавить

User-Agent: Googlebot-Image
Allow: /images/img

img - папка где лежат нужные изображения.

Нужно ли дописать "Allow: /images/img" для User-Agent: Googlebot?
Имеет ли значение где разместить строку User-Agent: Googlebot-Image?

Если папка открыта для индексации, зачем её повторно открывать?

Профессиональная команда ищет работу на трафик.

у вас своя сетка доноров?

Новый алгоритм от Яши..

Теперь ждем докладов о математической дешифровке алгоритма =)

Все вопросы по robots.txt
seoburovik:
Прошу помочь разобраться.
Аудитор сайта написал, что "Файл robots.txt присутствует, но составлен некорректно и в нем отсутствуют некоторые необходимые директивы."
______________________________________

Сейчас у меня файл robots.txt имеет вид:

User-Agent: *
Disallow: /archiw
Allow: /
Sitemap: http://www.burovik.ru/sitemap.xml
Host: www.burovik.ru
______________________________________

У меня вопросы:
1. Какие необходимые директивы отсутствуют?
2. В Яндексе указано главное зеркало www.burovik.ru. Можно ли соединить зеркала www.burovik.ru и burovik.ru? Как? И стоит это делать?
3. Можно ли прописать редирект и Ошибку 404? Как?

1. Тут вопрос больше к аудитору, и в зависимости от того какую он цель преследует. Роботс - служит для закрытия определенных страниц и разделов, возможно что-то лишнее, смотрите в вебмастерах яндекса и гугла.

2. Через .htaccess

3. Тоже что и в пунк 2.

Все вопросы по robots.txt
luckyfish123:
как пофиксить?

а что конкретно пофиксить, напишите лучше в виде нужно закрыть от Я и G, а что должно быть открыто.

---------- Добавлено 02.09.2015 в 11:57 ----------

KasperCC:
Подскажите вопросы по поводу доменов - как правильно включить в robot.txt.
1) Если домен в зоне рф?
2) 2 домена на одном сайте

1) host: xn--d1acpjx3f.xn--p1ai

перекодировать в пуникод http://wwhois.ru/punycode.php

2) у каждого домена есть своя папка, в нее и кидайте. Если это зеркало, тогда будет один роботс в нем и указваете главный домен хостом.

Это для Яндекса, для гугла в search console.

---------- Добавлено 02.09.2015 в 11:57 ----------

KasperCC:
Подскажите вопросы по поводу доменов - как правильно включить в robot.txt.
1) Если домен в зоне рф?
2) 2 домена на одном сайте

1) host: xn--d1acpjx3f.xn--p1ai

перекодировать в пуникод http://wwhois.ru/punycode.php

2) у каждого домена есть своя папка, в нее и кидайте. Если это зеркало, тогда будет один роботс в нем и указваете главный домен хостом.

Это для Яндекса, для гугла в search console.

---------- Добавлено 02.09.2015 в 12:02 ----------

SeoNk:
Посмотрите, я правильно составил robots.txt ?
Интересует расположение директив host и sitemap, употребление https, запрет всех динамических страниц, отсутствие переводов строки. Так же на сайте есть страница https://www.site.ru/articles/ которую нужно запретить и много страниц типа: https://www.site.ru/print/page.html (которые содержат подкаталог print)

Спасибо!


User-agent: *
Disallow: /?
Disallow: /print
Disallow: /articles/
Disallow: /404.html
Host: https://www.site.ru
Sitemap: https://www.site.ru/sitemap.xml

Указание на протокол HTTPS, если зеркало доступно только по защищенному каналу (Host: https://myhost.ru)

Disallow: /articles/

учитывайте:

закроет: www.site.ru/articles/ и откроет оставит открытым www.site.ru/articles

Минусинск заработал: часть 11
mainlink:
Товарищи, есть новостЯ. Минусинск начинает отпускать понемногу.


- Вебмастер и глюки с разницей между показанным кол-вом и архивом в екселе не починят до выхода новой версии. Там все будет устроено как-то по-другому (не успел на бету, но будем ждать в сентябре выхода вебмастера 2.0 или как там его обзовут, с интерфейсом как у новой метрики)

в бете пока не показывается кол-во внешних ссылок.

1... 789101112131415 ...78
Всего: 780