- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Перечитал уже кучу тем по поводу robots.txt для DLE, но все-же, если вам не сложно, посмотрите на мой файлик и оцените его. Что еще добавить или убрать?
Сайт под НЧ и некоторые СЧ запросы.
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /*print
Disallow: /user/
Disallow: */page/*
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /backup/
Disallow: /engine/
Disallow: /favorites/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /language/
Disallow: /tags/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*group=*
Disallow: /statistics.html
Disallow: /addnews.html
Disallow: /search.html
Disallow: /rules.html
Disallow: /2012/
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
Host: http://site.net/
Sitemap: http:/site.net/sitemap.xml
Перечитал уже кучу тем по поводу robots.txt для DLE, но все-же, если вам не сложно, посмотрите на мой файлик и оцените его. Что еще добавить или убрать?
Сайт под НЧ и некоторые СЧ запросы.
Вот именно: написано куча тем, а ведь правило довольно простое:
которые страницы хотите закрыть - ставите в Disallow, а которую не хотите - не ставите ( или ставите Allow). Всё. :)
P.S. Бывает интересно посмотреть роботсы у конкурентов в ТОП-10. =)
в ТОП-10 топ 10 и со стандартным роботсом сидят:
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Так, что это не показатель. Надо для каждого сайта индивидуально рассматривать.
P.S. У меня на dle стоят такие:
User-agent: *
Disallow: /*print
Disallow: /cgi-bin/
Disallow: /tags/
Disallow: /2013/
Disallow: /engine/
Disallow: /language/
Disallow: /user/
Disallow: /statistics.html
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /addnews.html
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /index.php?do=search
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=feedback
Disallow: /index.php?do=addnews
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts
User-agent: Yandex
Disallow: /*print
Disallow: /cgi-bin/
Disallow: /tags/
Disallow: /2013/
Disallow: /engine/
Disallow: /language/
Disallow: /user/
Disallow: /statistics.html
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /addnews.html
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /index.php?do=search
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=feedback
Disallow: /index.php?do=addnews
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts
Host: url
Sitemap: http://url.ru/sitemap.xml
или ставите Allow
на мой взгляд это лишнее: ведь то что не запрещено, априори разрешено (поправьте если вру)
Перечитал уже кучу тем по поводу robots.txt для DLE, но все-же, если вам не сложно, посмотрите на мой файлик и оцените его. Что еще добавить или убрать?
Сайт под НЧ и некоторые СЧ запросы.
noex, прошу прощения за сарказм, но осталось разве что страницы новостей добавить в файл и отличный роботс получится!
На деле же стандартного содержания вполне хватает и главная его задача закрыть страницы, которые желательно скрыть (типа админки) по тем или иным причинам... а у Вас видимо задача стоит максимально от поисковых систем закрыться!