almazbabaika: Здравствуйте, форумчане. Нужна ваша подсказка. Попробую покороче,хоть и не умею. Есть сайт на CMS 1С-Битрикс. Домену 3 года.И тут проблема в том,что в Яндексе выдает домен http://www.guardian-store.ru/ а в Гугле http://www.guardianstore.ru/ Я недавно(2 недели назад) залил новый robots.txt. с host: http://www.guardian-store.ru/ (именно этот домен нужно продвигать). Думал причина в этом,но так Гугл и не индексирует. Может времени мало прошло?
Все ли я правильно сделал? Знаете, еще я с корневой папки не удалил старый robots.txt ,который ставили разработчики. Может нужно удалить все старые и залить только потом новый robots.txt?
Попросили меня помощь, т.к. имел совсем малюсенький опыт продвижения сайтов. Но, я никогда не делал техническую оптимизацию,все было правильно настроено до меня.
Как я понимаю, для поисковиков это надо закрывать?
Заранее большое спасибо!
какую страницу хотите оставить как основную?
---------- Добавлено 13.10.2015 в 21:32 ----------
savikrds123: дравствуйте у меня такой вопрос
Домен был на юкозе прошло больше месца и с поисковиков начали приходить посетители я решил перенести домен на платный хостинг в итоге получилось
Страницы запрещены к индексированию вебмастером или не существуют
Документ запрещен в файле robots.txt
Когда открываю мой сайт /robots.txt иконка юкоз
Подскажите пожалуйста в чем проблема
Nike999: еще один вопрос: если я использую disallow и allow, есть разница где ставить эти директивы?
Как должно быть:
Allow:
Disallow: или же наоборот сначала disallow
2. Если я закрываю теги, но несколько оставляю, пишется с "/" в конце или без?
Спасибо!
1) если я использую disallow и allow, есть разница где ставить эти директивы?
Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то робот выбирает последнюю в порядке появления в сортированном списке. Таким образом, порядок следования директив в файле robots.txt не влияет на использование их роботом.
При конфликте между двумя директивами с префиксами одинаковой длины приоритет отдается директиве Allow.
2) / - закрывается урл
если нет закрытия / или конца строки $, то поисковик автоматом поставит* - все что идет после будет так же закрыто.
---------- Добавлено 01.10.2015 в 13:03 ----------
Anibrut: Здравствуйте.
Хочу уточнить следующее.
Нужно усилить поиск по изображениям в Гугл.
Есть уже robots.txt
c User-agent: *
User-Agent: Googlebot
User-Agent: Yandex
Хочу добавить
User-Agent: Googlebot-Image
Allow: /images/img
img - папка где лежат нужные изображения.
Нужно ли дописать "Allow: /images/img" для User-Agent: Googlebot?
Имеет ли значение где разместить строку User-Agent: Googlebot-Image?
Если папка открыта для индексации, зачем её повторно открывать?
seoburovik: Прошу помочь разобраться.
Аудитор сайта написал, что "Файл robots.txt присутствует, но составлен некорректно и в нем отсутствуют некоторые необходимые директивы."
______________________________________
У меня вопросы:
1. Какие необходимые директивы отсутствуют?
2. В Яндексе указано главное зеркало www.burovik.ru. Можно ли соединить зеркала www.burovik.ru и burovik.ru? Как? И стоит это делать?
3. Можно ли прописать редирект и Ошибку 404? Как?
1. Тут вопрос больше к аудитору, и в зависимости от того какую он цель преследует. Роботс - служит для закрытия определенных страниц и разделов, возможно что-то лишнее, смотрите в вебмастерах яндекса и гугла.
2) у каждого домена есть своя папка, в нее и кидайте. Если это зеркало, тогда будет один роботс в нем и указваете главный домен хостом.
Это для Яндекса, для гугла в search console.
---------- Добавлено 02.09.2015 в 12:02 ----------
SeoNk: Посмотрите, я правильно составил robots.txt ? Интересует расположение директив host и sitemap, употребление https, запрет всех динамических страниц, отсутствие переводов строки. Так же на сайте есть страница https://www.site.ru/articles/ которую нужно запретить и много страниц типа: https://www.site.ru/print/page.html (которые содержат подкаталог print)
mainlink: Товарищи, есть новостЯ. Минусинск начинает отпускать понемногу.
- Вебмастер и глюки с разницей между показанным кол-вом и архивом в екселе не починят до выхода новой версии. Там все будет устроено как-то по-другому (не успел на бету, но будем ждать в сентябре выхода вебмастера 2.0 или как там его обзовут, с интерфейсом как у новой метрики)
в бете пока не показывается кол-во внешних ссылок.
Здравствуйте, форумчане. Нужна ваша подсказка. Попробую покороче,хоть и не умею. Есть сайт на CMS 1С-Битрикс. Домену 3 года.И тут проблема в том,что в Яндексе выдает домен http://www.guardian-store.ru/ а в Гугле http://www.guardianstore.ru/ Я недавно(2 недели назад) залил новый robots.txt. с host: http://www.guardian-store.ru/ (именно этот домен нужно продвигать). Думал причина в этом,но так Гугл и не индексирует. Может времени мало прошло?
Все ли я правильно сделал? Знаете, еще я с корневой папки не удалил старый robots.txt ,который ставили разработчики. Может нужно удалить все старые и залить только потом новый robots.txt?
Попросили меня помощь, т.к. имел совсем малюсенький опыт продвижения сайтов. Но, я никогда не делал техническую оптимизацию,все было правильно настроено до меня.
Подскажите в чем причина?
Спасибо.
Гугл индексирует
По поводу удалили или нет файл, а как может быть два файла robots.txt?
В вебмастере (серч консоль) есть возможность обновить файл robots.txt
---------- Добавлено 21.11.2015 в 18:48 ----------
Подскажите, как правильно закрыть
mail.DOMEN.ru
Так правильно
Disallow: mail.DOMEN.ru
вот так правильно:
User-agent: *
Disallow: /
Обновили бетку..
Что бы усилить. Потому что как то слабо именно эта папка индексируется.
Роботс.тхт не используется для данных целей, используйте аддурилки вебмастеров, или нагонщики роботов, быстророботов.
---------- Добавлено 13.10.2015 в 21:29 ----------
Добрый вечер, форумчане.
Подскажите пожалуйста, как в роботс закрыть дубли категорий.
Например, категория футболок:
Ссылки имеют такую форму:
/products/category/1881601
/products/category/1881601/page/2?
/products/category/1881601/page/3?
/products/category/1881601/page/4?
Как я понимаю, для поисковиков это надо закрывать?
Заранее большое спасибо!
какую страницу хотите оставить как основную?
---------- Добавлено 13.10.2015 в 21:32 ----------
дравствуйте у меня такой вопрос
Домен был на юкозе прошло больше месца и с поисковиков начали приходить посетители я решил перенести домен на платный хостинг в итоге получилось
Страницы запрещены к индексированию вебмастером или не существуют
Документ запрещен в файле robots.txt
Когда открываю мой сайт /robots.txt иконка юкоз
Подскажите пожалуйста в чем проблема
robots.txt
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /eros
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /cams.html
Host: мой сайт
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /comments/
Disallow: /feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /cams.html
Sitemap: мой сайт/sitemap.xml
Данный файл не закрывает полностью содержимое сайта. Либо скиньте урлы для проверки.
Вероятнее всего проблема в Метатеге robots.
Может кто знает? Пожалуйста, есть здесь выход? Или это такая фигня на вордпрессе? с ссылками на комментарии
User-agent: *
Disallow: *replytocom
Хеш-теги через роботс не закроете, используйте каноникал или метатеги-роботс.
---------- Добавлено 03.10.2015 в 14:04 ----------
Anonyk, добавьте в robots
Disallow: /*?*
Disallow: /*#*
Аккуратнее: данный пример закроет весь сайт.
еще один вопрос: если я использую disallow и allow, есть разница где ставить эти директивы?
Как должно быть:
Allow:
Disallow: или же наоборот сначала disallow
2. Если я закрываю теги, но несколько оставляю, пишется с "/" в конце или без?
Спасибо!
1) если я использую disallow и allow, есть разница где ставить эти директивы?
Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то робот выбирает последнюю в порядке появления в сортированном списке. Таким образом, порядок следования директив в файле robots.txt не влияет на использование их роботом.
При конфликте между двумя директивами с префиксами одинаковой длины приоритет отдается директиве Allow.
2) / - закрывается урл
если нет закрытия / или конца строки $, то поисковик автоматом поставит* - все что идет после будет так же закрыто.
---------- Добавлено 01.10.2015 в 13:03 ----------
Здравствуйте.
Хочу уточнить следующее.
Нужно усилить поиск по изображениям в Гугл.
Есть уже robots.txt
c User-agent: *
User-Agent: Googlebot
User-Agent: Yandex
Хочу добавить
User-Agent: Googlebot-Image
Allow: /images/img
img - папка где лежат нужные изображения.
Нужно ли дописать "Allow: /images/img" для User-Agent: Googlebot?
Имеет ли значение где разместить строку User-Agent: Googlebot-Image?
Если папка открыта для индексации, зачем её повторно открывать?
у вас своя сетка доноров?
Теперь ждем докладов о математической дешифровке алгоритма =)
Прошу помочь разобраться.
Аудитор сайта написал, что "Файл robots.txt присутствует, но составлен некорректно и в нем отсутствуют некоторые необходимые директивы."
______________________________________
Сейчас у меня файл robots.txt имеет вид:
User-Agent: *
Disallow: /archiw
Allow: /
Sitemap: http://www.burovik.ru/sitemap.xml
Host: www.burovik.ru
______________________________________
У меня вопросы:
1. Какие необходимые директивы отсутствуют?
2. В Яндексе указано главное зеркало www.burovik.ru. Можно ли соединить зеркала www.burovik.ru и burovik.ru? Как? И стоит это делать?
3. Можно ли прописать редирект и Ошибку 404? Как?
1. Тут вопрос больше к аудитору, и в зависимости от того какую он цель преследует. Роботс - служит для закрытия определенных страниц и разделов, возможно что-то лишнее, смотрите в вебмастерах яндекса и гугла.
2. Через .htaccess
3. Тоже что и в пунк 2.
как пофиксить?
а что конкретно пофиксить, напишите лучше в виде нужно закрыть от Я и G, а что должно быть открыто.
---------- Добавлено 02.09.2015 в 11:57 ----------
Подскажите вопросы по поводу доменов - как правильно включить в robot.txt.
1) Если домен в зоне рф?
2) 2 домена на одном сайте
1) host: xn--d1acpjx3f.xn--p1ai
перекодировать в пуникод http://wwhois.ru/punycode.php
2) у каждого домена есть своя папка, в нее и кидайте. Если это зеркало, тогда будет один роботс в нем и указваете главный домен хостом.
Это для Яндекса, для гугла в search console.
---------- Добавлено 02.09.2015 в 11:57 ----------
Подскажите вопросы по поводу доменов - как правильно включить в robot.txt.
1) Если домен в зоне рф?
2) 2 домена на одном сайте
1) host: xn--d1acpjx3f.xn--p1ai
перекодировать в пуникод http://wwhois.ru/punycode.php
2) у каждого домена есть своя папка, в нее и кидайте. Если это зеркало, тогда будет один роботс в нем и указваете главный домен хостом.
Это для Яндекса, для гугла в search console.
---------- Добавлено 02.09.2015 в 12:02 ----------
Посмотрите, я правильно составил robots.txt ?
Интересует расположение директив host и sitemap, употребление https, запрет всех динамических страниц, отсутствие переводов строки. Так же на сайте есть страница https://www.site.ru/articles/ которую нужно запретить и много страниц типа: https://www.site.ru/print/page.html (которые содержат подкаталог print)
Спасибо!
Указание на протокол HTTPS, если зеркало доступно только по защищенному каналу (Host: https://myhost.ru)
Disallow: /articles/
учитывайте:
закроет: www.site.ru/articles/ и откроет оставит открытым www.site.ru/articles
Товарищи, есть новостЯ. Минусинск начинает отпускать понемногу.
- Вебмастер и глюки с разницей между показанным кол-вом и архивом в екселе не починят до выхода новой версии. Там все будет устроено как-то по-другому (не успел на бету, но будем ждать в сентябре выхода вебмастера 2.0 или как там его обзовут, с интерфейсом как у новой метрики)
в бете пока не показывается кол-во внешних ссылок.