- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
всем привет, подскажите, пожалуйста
сейчас есть robots.txt вида
надо разрешить гуглу индексировать кое-что из того, что запрещено остальным, пусть /2/, например
вопрос заключается в том, как правильно построить сам файл и как правильно прописать host и sitemap...
т.е. я не понимаю, гугл в таком варианте учтет все инструкции для User-agent: *, а потом скорректирует их в соответствии со своей секцией, или при наличии "User-agent: Googlebot" гугл "забьет" на секцию "User-agent: *" и будет выполнять ТОЛЬКО инструкции из "User-agent: Googlebot"?
и куда пихать host с sitemap-ом?.. (
Вам нужно точно определиться с тем что будет сканировать гугл, записать это в файле robots, затем, в этом же файле вы можете записать остальные директории для сканирования, что касается host и sitemap, то лучше писать в конце robots, хотя на сколько это лучше я не знаю.
Вам нужно точно определиться с тем что будет сканировать гугл, записать это в файле robots, затем, в этом же файле вы можете записать остальные директории для сканирования, что касается host и sitemap, то лучше писать в конце robots, хотя на сколько это лучше я не знаю.
vigilant, в Яндексе и в Google есть подробные мануалы с примерами. Почему бы не почитать их для общего развития?
vigilant, в Яндексе и в Google есть подробные мануалы с примерами. Почему бы не почитать их для общего развития?
из того, что я нагуглил, я не получил ответа на 2 вопроса:
если есть общая секция и для конкретного бота, как они влияют друга на друга и куда в этой истории пихать host и sitemap.. догадываюсь, что в конец, но не вижу, где это описано
google.com/robots.txt и yandex.ru/robots.txt таких нюансов не имеют
из того, что я нагуглил
Я говорил об официальной документации, а не о высерах всяких блогеров.
http://help.yandex.ru/webmaster/?id=996567#996568
В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются.
Тем не менее директива Host является межсекционной, поэтому будет использоваться роботом вне зависимости от места в файле robots.txt, где она указана.
http://help.yandex.ru/webmaster/?id=996567#996568
спасибо!
тогда придется продублировать для гугла набор disallow, которые для него нужны и исключить лишние, я, кажется, понял