- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
А если я не хочу вообще отключать разделы, чтобы сайт индексировался полность, то надо писать:
Disallow: /
я прав?
Нет, пишите:
Disallow:
Или Disallow играет значения на директории в FTP
Нет
например можно таким образом запретить индексацию CSS файлов?
А не могло ли это затронуть каким-то образом другую часть документа?
Нет
Значит, если подвести итоги, то выглядеть мой robot.txt должен так, да?:
User-Agent: *
Disallow: /
Host: http://porsch-info.ru
Исхожу из того, что
User-Agent: * - насколько понял, * (звездочка) говорит о том, что сайт может индексироваться всеми поисковиками.
Disallow: / - я к индексации разрешил весь сайт и все его подразделы
Host: http://porsch-info.ru - собственно, мой сайт
Так, ну тогда созрел еще один вопрос - а писать Url сайта следует с http:// или можно просто либо www.porsh-info.ru, либо просто porsh-info.ru?
Вопрос созрел, т.к. прочел мануал по индексации сайта, представленный на форуме, там директива Host была прописана без http://
И еще вопрос, а следует ли разрешать поисковику индексировать /cgi-bin (который, собственно, вообще пустой) и /css (где хранится два файла стилей)?
P.S. Огромное спасибо всем откликнувшимся, ваши советы очень помогают:)
На сколько я понимаю, нужно так:
User-Agent: *
Disallow:
User-Agent: yandex
Disallow:
Host: porsch-info.ru
P.S. сори, скопировал не посмотрев, убрал слеши.
Host понимает только Яндекс и это указывает на основное зеркало, которое хотелось бы Вам видеть в выдаче.
Если у Вас нет зеркал, и сайт окликается на с www и без www, пишите в Host с www или без в зависимости от того как бы Вы хотели бы видеть сайт в выдаче.
На сколько я понимаю, нужно так:
User-Agent: *
Disallow:
User-Agent: yandex
Disallow:
Host: porsch-info.ru
Значит, насколько я понял, первое идет для всех остальных поисковиков, а второе индивидуально для Яндекса.
Что ж, разобрался, примного вас всех благодарю 🚬
И последний дурацкий вопрос - имеет ли значение как писать в
User-Agent - yandex или Yandex?
Если по-русски, большие и маленькие буквы в данном случае что-то меняют?
Значит, если подвести итоги, то выглядеть мой robot.txt должен так, да?:
User-Agent: *
Disallow: /
Host: http://porsch-info.ru
Disallow: / - я к индексации разрешил весь сайт и все его подразделы
Скажите честно, Вы два предыдущих поста читали (#11 и #12)?
Если директива Disallow будет пустой, это значит, что робот может индексировать все файлы. Disallow со слешем - запрещает к инднксации ваш сайт.
Так, ну тогда созрел еще один вопрос - а писать Url сайта следует с http:// или можно просто либо www.porsh-info.ru, либо просто porsh-info.ru?
url cледует писать без аббревиатуры протокола передачи гипертекста, то есть без http:// и без закрывающего слеша /.
Скажите честно, Вы два предыдущих поста читали (#11 и #12)?
Если директива Disallow будет пустой, это значит, что робот может индексировать все файлы. Disallow со слешем - запрещает к инднксации ваш сайт.
Я прочитал внимательно все посты;)
Я просто тоже поспешил и скопировал со слешем.
Вот мой финальный вариант:
User-Agent: *
Disallow:
User-Agent: yandex
Disallow:
Host: porsch-info.ru
P.S. Огромное спасибо всем, с проблемой индексации и robot.txt разобрался.:)
И последний дурацкий вопрос - имеет ли значение как писать в
User-Agent - yandex или Yandex?
Если я не ошибаюсь, то по стандарту robots.txt нечувствителен к регистру, кроме имен файов и директорий.