- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Если на сайте все страницы должны быть доступны для поисковиков, то нужно ли создавать robot.txt?
Если для этого случая нужен robot.txt, то будет ли этих строк достаточно?
User-agent: *
Disallow:
Сообщение в Yandex Webmaster:
Не найден файл robots.txt
Робот не смог получить доступ к файлу robots.txt при последнем обращении. Из-за отсутствия параметров индексирования и инструкций в поиск могут попасть нежелательные страницы.
Добавьте файл robots.txt.
Сообщение в Google Console:
На сайте не обнаружен файл robots.txt. Робот будет сканировать весь контент без ограничений.
Если на сайте все страницы должны быть доступны для поисковиков, то нужно ли создавать robot.txt?
Да.
User-agent: *
Disallow:
Это хрень. Надо так:
Allow: /
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
Сайтмап не обязателен. А хост желателен, пишется без хттп.
Сайтмап не обязателен. А хост желателен, пишется без хттп.
А разве сейчас Яндекс директиву Host учитывает? Они же вроде писали, что необязательно ее упоминать.
нужно ли создавать robot.txt?
robots.txt
А разве сейчас Яндекс директиву Host учитывает?
Месяц назад читал, что да, учитывает и он нужен. В Яндекс блоге читал.
Месяц назад читал, что да, учитывает и он нужен. В Яндекс блоге читал.
Сейчас посмотрел, нашел только вот это https://webmaster.yandex.ru/blog/301-y-redirekt-polnostyu-zamenil-direktivu-host
Тарасов Роман, посмотрел, спасибо. Но лично мне лень на всех сайтах править роботс.тхт и мало того ещё и разбираться и делать 301 редирект или чего-то ещё там.
---------- Добавлено 14.07.2018 в 02:28 ----------
Яндекс как всегда в своём репертуаре, сначала долго и нудно ныли, что нужна эта директива, а теперь взяли и бац отказались.
Тарасов Роман, посмотрел, спасибо. Но лично мне лень на всех сайтах править роботс.тхт и мало того ещё и разбираться и делать 301 редирект или чего-то ещё там.
---------- Добавлено 14.07.2018 в 02:28 ----------
Яндекс как всегда в своём репертуаре, сначала долго и нудно ныли, что нужна эта директива, а теперь взяли и бац отказались.
Я тоже не правил, и не заметил ухудшения посещаемости. А на одном сайте траф Яндекса вообще в два раза вырос за последние три месяца. Значит наличие host не влияет, ну или пока не влияет.
Но, вот тут новый сайт запустили, там уже без этой директивы robots делал.
Тарасов Роман, посмотрел, спасибо. Но лично мне лень на всех сайтах править роботс.тхт и мало того ещё и разбираться и делать 301 редирект или чего-то ещё там.
Яше все равно на хост, гоша читает, майл кажется до сих пор копирует гошу
Яше все равно на хост, гоша читает
С точностью до наоборот.
host - это директива robots.txt для Яндекса (была). Google её не воспринимает и в спецификации о ней нет ни слова.
С точностью до наоборот.
host - это директива robots.txt для Яндекса (была). Google её не воспринимает и в спецификации о ней нет ни слова.
Возможно. .Но в спецификации есть синтаксис а не 'операторы' допустимые в роботсе.
Синтаксис и полный перечень "операторов" это разное.
Буду признателен если просветите в вопросе: Коль хост гоше не нужен, то как гоше скармливаем основной домен сайта?
Во всем самоучка, поэтому ваше заявление интересно мне
Да и еще момент
Говорил об отношении Яши на данный момент......