Поисковики не видят robots.txt

А
На сайте с 02.05.2015
Offline
35
1294

Ни яндекс, ни гугл не видят файл robots.tx! Что не так?

User-agent: GoogleBot

Disallow: /cgi-bin

Disallow: /category

Disallow: /tag

Disallow: /wp-

Disallow: /?s=

Disallow: *&s=

Disallow: /search

Disallow: /author/

Disallow: *?attachment_id=

Disallow: */feed

Disallow: */rss

Disallow: */embed

Все категории и прочие приблуды успешно отражаются в поисковой выдаче!

Витали_Ч
На сайте с 11.04.2009
Offline
132
#1
robots.tx!

Не в этом ли проблема?

User-agent: GoogleBot

Вот'с хнай Яндекс?

А
На сайте с 02.05.2015
Offline
35
#2
Витали_Ч:
Не в этом ли проблема?


Вот'с хнай Яндекс?

Там тоже самое, не пойму почему роботс не работает

LEOnidUKG
На сайте с 25.11.2006
Offline
1560
#3

Что значит не видит, и что значит не работает?

✅ Трастовых площадок под размещение статей и ссылок. Опыт 12 лет! ( https://searchengines.guru/ru/forum/675690 ) ⭐ Купить вечные трастовые ссылки для сайта ( https://getmanylinks.ru/?srh ) ⭐ Ускорение ваших сайтов (WP, Opencart и др.) + Настройка сервера ( https://searchengines.guru/ru/forum/997205 )
Topor777
На сайте с 31.12.2019
Offline
10
#4

Тс, у вас файл точно называется robots.txt, а не robots.tx?

И почему для гугла вы указали директивы, а для яндекса нет? Либо добавьте для яндекса, либо вместо GoogleBot поставьте *.

И вообще, точно файл в корне сайта лежит? Проверьте что по адресу site.ru/robots.txt он открывается.

Крауд-ссылки от сервиса LinkMake.ru (https://linkmake.ru) всего от 25 рублей за ссылку.
кот Бегемот
На сайте с 07.12.2009
Offline
277
#5

Можно через вебмастер яндекса зайти в "переобход страниц" и добавить в очередь . Бот точно прочитает роботс.

Яндекс Директ, Гугд адворс, не дорого и ответственно. Телеграмм @H_Ilin
Vladimir
На сайте с 07.06.2004
Online
327
#6
антра:
Ни яндекс, ни гугл не видят файл robots.tx! Что не так?
User-agent: GoogleBot
Disallow: /cgi-bin
Disallow: /category
Disallow: /tag
Disallow: /wp-
Disallow: /?s=
Disallow: *&s=
Disallow: /search
Disallow: /author/
Disallow: *?attachment_id=
Disallow: */feed
Disallow: */rss
Disallow: */embed

Все категории и прочие приблуды успешно отражаются в поисковой выдаче!

В вебмастере есть проверка доступности 200 для робота Яндекса

Там 4-5 роботов, проверьте всех. Если хотя бы один отдает 404, копайте кэширование

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
А
На сайте с 02.05.2015
Offline
35
#7
Topor777:
Тс, у вас файл точно называется robots.txt, а не robots.tx?

И почему для гугла вы указали директивы, а для яндекса нет? Либо добавьте для яндекса, либо вместо GoogleBot поставьте *.

И вообще, точно файл в корне сайта лежит? Проверьте что по адресу site.ru/robots.txt он открывается.

Да это здесь опечатка, на сайте все как положено robots.txt. А вот насчет * вы правы, но только не совсем то что выпредложили, вот так я исправил robots, и все стало как надо:

User-agent: GoogleBot

Disallow: */cgi-bin

Disallow: */category

Disallow: */tag

Disallow: */wp-

Disallow: */?s=

Disallow: *&s=

Disallow: */search

Disallow: */author/

Disallow: *?attachment_id=

Disallow: */feed

Disallow: */rss

Disallow: */embed

[Удален]
#8

Что значит "как надо"? Строка после Disallow: начинается с / по определению.

H
На сайте с 26.12.2018
Offline
9
#9
антра:
Ни яндекс, ни гугл не видят файл robots.tx! Что не так?
User-agent: GoogleBot
Disallow: /cgi-bin
Disallow: /category
Disallow: /tag
...

Все категории и прочие приблуды успешно отражаются в поисковой выдаче!

Поменяйте GoogleBot на * и проверьте страницу любой категории в вебмастере яши. Инструменты->Анализ robots.txt. Категории у вас так отображаются site.ru/category/ya_category_ska ? Если да, то можете так попробовать Disallow: /categoty/*/ (надеюсь в урлах публикаций у вас нет категорий, иначе они вылетят).

Miha Kuzmin (KMY):
Что значит "как надо"? Строка после Disallow: начинается с / по определению.

Лишь бы сообщение написать? Поисковики отлично понимают конструкции в стиле Disallow: */attachment/* или вообще чистые реджексы. Дело не в этом.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий