- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Disallow: */page/
Disallow: */rss.php
Disallow: /*print
Disallow: /*userinfo
Disallow: /?do=feedback
Disallow: /?do=lastcomments
Disallow: /?do=register
Disallow: /2013/
Disallow: /2012/
Disallow: /admin.php
Disallow: /autobackup.php
Disallow: /backup/
Disallow: /cache/
Disallow: /engine/
Disallow: /favorites/
Disallow: /go/
Disallow: /*?*
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=lastnews
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=search
Disallow: /index.php?do=stats
Disallow: /index.php?do=tags
Disallow: /index.php?do=user
Disallow: /index.php?subaction=newposts
Disallow: /language/
Disallow: /lastnews/
Disallow: /page/
Disallow: /rss.xml
Disallow: /rules.html
Disallow: /statistics.html
Disallow: /tags/
Disallow: /templates/
Disallow: /uploads/
Disallow: /user/
Sitemap: http://varimnapa.ru/sitemap.xml
User-agent: Yandex
Host: varimnapa.ru
а что скажете про этот роботс, небольшой он? двиг дле.
User-agent: Yandex
Host: varimnapa.ru
WTF?
...
Disallow: /user/
Sitemap: http://site/sitemap.xml
Host: varimnapa.ru
а, еще забыл спросить, а нужно указывать в robots.txt карту сайта ?
Если она валидная, без битых ссылок, то да, обязательно☝
то есть нужно прописать вот так:
User-Agent: *
Sitemap: http://site.ru/sitemap.xml
Disallow: /blocks/
Disallow: /admin/
Disallow: /js/
Host: site.ru
то есть нужно прописать вот так:
User-Agent: *
Sitemap: http://site.ru/sitemap.xml
Disallow: /blocks/
Disallow: /admin/
Disallow: /js/
Host: site.ru
Так:
User-Agent: *
Disallow: /blocks/
Disallow: /admin/
Disallow: /js/
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
gigs2, вначале надо дать указание Яндексу, а потом остальным, т.е. вот так:
User-Agent: Yandex
Disallow: /blocks/
Disallow: /admin/
Disallow: /js/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
User-Agent: *
Disallow: /blocks/
Disallow: /admin/
Disallow: /js/
Sitemap: http://site.ru/sitemap.xml
gigs2, вначале надо дать указание Яндексу, а потом остальным, т.е. вот так:
Делать отдельный идентичный вариант для яндекса вовсе не обязательно. Host можно указать в конце под общую секцию, ПСы которые ее не учитывают просто ее проигнорируют.
Sitemap кроме всего прочего является межсекционной.
Я тут нашел статью про роботс для дле что скажите?
http://alaev.info/blog/post/3900
Делай как Шивана говорит.