- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем привет, составил значит такой роботс:
Просьба написать, все ли правильно, что дописать? Хочу сделать идеальный роботс для всех машин.:idea:
А где User-agent: Yandex?
lustoff добавил 10.12.2011 в 20:04
Он наш, особенный)
Нужно было ли указывать заново все disallow, когда писал User-agent: Yandex?
Vadimts, честно - уже не помню. Но мне вбилось в голову, что нужно для Яндекса те же правила вбить отдельно что и для остальных роботов
Vadimtsнужно для Яндекса те же правила вбить отдельно что и для остальных роботов
Кто нибудь может объяснить - для чего отдельно указывать бота яндекса, если для него не задано никаких правил, отличных от User-agent: * ?
У меня такой
Disallow: /*rss
Disallow: /tags/
Disallow: /page/
Disallow: /2011/
Disallow: /stats/
Disallow: /cache/
Disallow: /backup/
Disallow: /newposts/
Disallow: /language/
Disallow: /?do=cat&
Disallow: /adv.html
Disallow: /rules.html
Disallow: /contact.html
Disallow: /engine/go.php
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /?do=lastcomments
Disallow: /index.php?newsid
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /*subaction=userinfo
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Sitemap: http://сайт.ru/sitemap.xml
Host: сайт.ru
User-agent: * т.е для всех пс поддерживающих robots.txt
Кто нибудь может объяснить - для чего отдельно указывать бота яндекса, если для него не задано никаких правил, отличных от User-agent: * ?
Это называется "горе-оптимизаторы". Указывать не нужно, * для всех ботов ПС и "Яша" её прекрасно понимает. Другое дело, что у Яндекса и Google есть разные боты, которым можно запретить/разрешить индексирование определённый тип контента на сайте:
http://help.yandex.ru/webmaster/?id=996567#996568
http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=1061943
Этим кстати пренебрегают многие, а зря, правильная конфигурация robotx.txt, только в плюс (он конечно же индивидуален для сайта). Имхо.
А, ну да, у "Яши" еще хост и карта отдельно.;)
Этим кстати пренебрегают многие, а зря, правильная конфигурация robotx.txt, только в плюс (он конечно же индивидуален для сайта). Имхо.
Освети, если не сложно, в чем именно плюс от "разных ботов"? Чем и кому помогло?
А, ну да, у "Яши" еще хост и карта отдельно.;)
это еще зачем?
Освети, если не сложно, в чем именно плюс от "разных ботов"? Чем и кому помогло?
В моём ответе разве "помогло"?
WebAlt добавил 11.12.2011 в 11:19
это еще зачем?
Читайте "хелпы", аль не судьба?
Disallow:
Allow: /*
Это что за порнуха?
А как запретить к индексации данных страниц в гугле, а именно теги, пользователи и версия для печати
User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /tags/