- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Ни яндекс, ни гугл не видят файл robots.tx! Что не так?
User-agent: GoogleBot
Disallow: /cgi-bin
Disallow: /category
Disallow: /tag
Disallow: /wp-
Disallow: /?s=
Disallow: *&s=
Disallow: /search
Disallow: /author/
Disallow: *?attachment_id=
Disallow: */feed
Disallow: */rss
Disallow: */embed
Все категории и прочие приблуды успешно отражаются в поисковой выдаче!
Не в этом ли проблема?
Вот'с хнай Яндекс?
Не в этом ли проблема?
Вот'с хнай Яндекс?
Там тоже самое, не пойму почему роботс не работает
Что значит не видит, и что значит не работает?
Тс, у вас файл точно называется robots.txt, а не robots.tx?
И почему для гугла вы указали директивы, а для яндекса нет? Либо добавьте для яндекса, либо вместо GoogleBot поставьте *.
И вообще, точно файл в корне сайта лежит? Проверьте что по адресу site.ru/robots.txt он открывается.
Можно через вебмастер яндекса зайти в "переобход страниц" и добавить в очередь . Бот точно прочитает роботс.
Ни яндекс, ни гугл не видят файл robots.tx! Что не так?
User-agent: GoogleBot
Disallow: /cgi-bin
Disallow: /category
Disallow: /tag
Disallow: /wp-
Disallow: /?s=
Disallow: *&s=
Disallow: /search
Disallow: /author/
Disallow: *?attachment_id=
Disallow: */feed
Disallow: */rss
Disallow: */embed
Все категории и прочие приблуды успешно отражаются в поисковой выдаче!
В вебмастере есть проверка доступности 200 для робота Яндекса
Там 4-5 роботов, проверьте всех. Если хотя бы один отдает 404, копайте кэширование
Тс, у вас файл точно называется robots.txt, а не robots.tx?
И почему для гугла вы указали директивы, а для яндекса нет? Либо добавьте для яндекса, либо вместо GoogleBot поставьте *.
И вообще, точно файл в корне сайта лежит? Проверьте что по адресу site.ru/robots.txt он открывается.
Да это здесь опечатка, на сайте все как положено robots.txt. А вот насчет * вы правы, но только не совсем то что выпредложили, вот так я исправил robots, и все стало как надо:
User-agent: GoogleBot
Disallow: */cgi-bin
Disallow: */category
Disallow: */tag
Disallow: */wp-
Disallow: */?s=
Disallow: *&s=
Disallow: */search
Disallow: */author/
Disallow: *?attachment_id=
Disallow: */feed
Disallow: */rss
Disallow: */embed
Что значит "как надо"? Строка после Disallow: начинается с / по определению.
Ни яндекс, ни гугл не видят файл robots.tx! Что не так?
User-agent: GoogleBot
Disallow: /cgi-bin
Disallow: /category
Disallow: /tag
...
Все категории и прочие приблуды успешно отражаются в поисковой выдаче!
Поменяйте GoogleBot на * и проверьте страницу любой категории в вебмастере яши. Инструменты->Анализ robots.txt. Категории у вас так отображаются site.ru/category/ya_category_ska ? Если да, то можете так попробовать Disallow: /categoty/*/ (надеюсь в урлах публикаций у вас нет категорий, иначе они вылетят).
Что значит "как надо"? Строка после Disallow: начинается с / по определению.
Лишь бы сообщение написать? Поисковики отлично понимают конструкции в стиле Disallow: */attachment/* или вообще чистые реджексы. Дело не в этом.