- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Попробовал. Исправленный файл robots.txt простым способом "скопировать, в хостинге в корневой папке кликнуть правой кнопкой - вставить" не получается. В корневую папку WWW файлы вставляются каким то другим способом? Как это сделать?
Коллеги приветствую! Кто то писал robots для Laravel? Поделитесь пожалуйста.
Всем доброго вечера!
Недавно столкнулся вот с такой ситуацией:
Обновленный яндекс веб-мастер выдал, что присутствуют ошибки в файле robots.txt
"Неизвестный тег image:image (25 предупреждений)"
Сам сайт на Wordpress, установлен плагин SEO by Yoast. Поиск по гуглу адекватных результатов не дал. Кто-нибудь сталкивался с подобной проблемой? Сильно ли данные ошибки могут навредить сайту?
Есть в сети один сайт. В его роботс.тхт есть такие строки:
Цитата:
Disallow: /p/
Disallow: /go/
Disallow: /awstats
Цитата:
Disallow: /?s=
Disallow: /*?s=
Disallow: /*?s=*
Disallow: /*&s=
Disallow: /*&s=*
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*page__view__findpost*
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*page__p__*
Прочитал много статей про файл robots.txt. Искал через гугл и Яндекс довольно приличное время, чтобы понять, что значать строки выше и, что именно они закрывают. Ничего не нашёл. В статьях также нет инфы про это.
Ещё такие вопросы:
1. RSS у меня на сайте имеет вид http://******.ru/feed/ я закрыл его так:
Цитата:
Disallow: */feed/
Disallow: */feed
Это правильно?
2. И вопрос по аттачменты, я их закрыл так:
Цитата:
Disallow: */attachment/*
Disallow: /?attachment
С вопросами 1 и 2 и сам разберусь, наверное рано или поздно, а вот про то, что написал в первой части сообщения уже устал гуглить. Подскажите, пожалуйста, что это закрывает. Если не трудно прям рядом с каждой строчкой напишите плиз что делает она, что именно закрывает. Был бы признателен, заранее спасибо.
Интересное кено. В отдельных темах люди бы читали и отвечали на вопросы и помогли бы скорее всего по роботсу. А здесь уже 5 дней люди вопрошают про роботс.тхт и тишина. Форум делался, чтобы быть полезным для людей? Или чтобы были вот такие темы типа удобные для форума, в которых тишина?
http://support.yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#asterisk-dollar - что тут непонятного? Потому никто и не отвечает, что вы даже доки не в состоянии прочитать, от того же яндекса.
Miha Kuzmin (KMY), это я читал. Там не написано, что, например:
это:
Disallow: */feed/
и это:
Disallow: */feed
Одно и тоже или нет.
Там также не написано, что значит вот это, к примеру:
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*page__view__findpost*
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*page__p__*
Исходя из английских слов можно лишь догадываться, а хотелось бы знать точно. Что означают символы /*$ это понятно.
Там не написано, что, например:
это:
Disallow: */feed/
и это:
Disallow: */feed
Одно и тоже или нет.
Нет, разумеется, пример - */feed-abc (первым правилом не закроется, вторым - закроется). И там про это написано:
Есть в сети один сайт. В его роботс.тхт есть такие строки:
Этот роботс сам по себе не совсем корректный, к примеру, эти строки ничем не отличаются:
Disallow: /*?s=
Disallow: /*?s=*
Что непонятного в указанном robots?
Исходя из английских слов можно лишь догадываться, а хотелось бы знать точно
Все что нужно знать, чтобы понимать что там написано - это смысл символов * и $, остальное - это части URL конкретного сайта
Нет, разумеется, пример - */feed-abc (первым правилом не закроется, вторым - закроется). И там про это написано:
Спасибо.
Все что нужно знать, чтобы понимать что там написано - это смысл символов * и $, остальное - это части URL конкретного сайта
Это понятно. А если понять, что именно оно закрывает можно найти на своём сайте тоже самое, посмотреть как выглядят эти урл у меня и закрыть их.
А если понять, что именно оно закрывает можно найти на своём сайте тоже самое, посмотреть как выглядят эти урл у меня и закрыть их.
Феерия. Прямым текстом написано, что закрывает все урлы, что содержат строку между * и $. Как выглядят - сложный вопрос. На сайте посмотреть. Хотя нет, это уж слишком сложно. Отсканировать сайт то же ксеной? Нет, не пойдет, это же прогу устанавливать надо. Список из вебмастера закрытых страниц в robots? Ну, это вообще за гранью( Нет выхода.