- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Куча сайтов без роботса обходится. Если склейка в правильном направлении не актуальна и закрывать нечего - можете не делать. Если хотите ускорить процедуру склейки яндексом, можете указать:
User-agent: Yandex
Disallow:
Host: сайт
Если сайт большой, то чтобы все нужные страницы проиндексировались - закройте служебные файлы, статистику, поиск и т.п. от индексации.
Так же можно закрыть или не закрыть сайт от других поисковиков.
А host для яндекса прописывать обязательно??
А host для яндекса прописывать обязательно??
По желанию...
Нужно ли host прописать не только для яндекса но и для остальных. Правильно ли будет:
User-agent: *
Disallow:
Host: dailet.com
Sitemap: http://dailet.com/sitemap.xml
Нужно ли host прописать не только для яндекса но и для остальных. Правильно ли будет:
User-agent: *
Disallow:
Host: dailet.com
Sitemap: http://dailet.com/sitemap.xml
Можно так написать. Но нужно понимать, что кроме Яндекса - эту директиву никто не поймёт. См. ссылку на справку указанную выше. Кроме этого, даже прописанная эта директива не даёт 100% результат, поэтому многие пишут её только в секторе для Яндекса, чтобы увеличить вероятность правильной реакции робота.
ass7, нет не правильно.
ass7, нет не правильно.
Почему? Вот цитата из хелпа Яндекса:
User-Agent: *
Disallow:
Host: www.myhost.ru
Можно указать правила для всех поисковых систем, прописывать конкретно для Яндекса абсолютно необязательно.
И вот ссылочка по теме robots.txt http://www.codeisart.ru/meta-robots-%D0%B8%D0%BB%D0%B8-robots-txt/
kimberlit, и к чему она приведет?
Учитываться эти данные не будут ...
Создал robots.txt для блога на WP.
Посмотрите, пожалуйста, правильно ли:
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: site.ru
Sitemap: Http://site.ru/sitemap.xml
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Правильно ли я сделал, что не ставил "/", например, не /wp-admin, как я писал, а /wp-admin/?