- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Купил сегодня лицензию dle, установил все. Вот, дело дошло до роботса. Думаю-думаю, какой будет лучше. Остановился на этом варианте:
User-agent: *
Disallow: /*print
Disallow: /tags/
Disallow: /2012/
Disallow: /2013/
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
Так оставить? Или что-то нужно добавить или поменять.
Я добивался того, чтобы было меньше дублей и ненужного шлака.
Чтобы не индексировались краткие новости, я добавляю:
Disallow: /*/page/
Смотрите сами подойдет ли это в вашем случае, но не забудьте про карту сайта.
И вместо нескольких строк, обычно одна:
Disallow: /index.php
User-agent: *
Disallow: /*print
Disallow: /tags/
Disallow: /2012/
Disallow: /2013/
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
Вы имели ввиду так?!
И вместо нескольких строк, обычно одна:
Disallow: /index.php
Лучше так:
Disallow: /*?
ТС и убираете из своего списка все строки с ?
Disallow: /uploads/ - так не будут индексироваться картинки, учитывайте это!
Disallow: /admin.php - это вообще лишнее, а файл этот вообще переименовать.
Disallow: /upgrade/ - это тоже лишнее. Эту директорию вообще нужно снести!
User-agent: *
Disallow: /*print
Disallow: /tags/
Disallow: /2012/
Disallow: /2013/
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
Вы имели ввиду так?!
Да, так обычно и делаю.
У меня такой роботс:
User-agent: *
Disallow: /xfsearch/
Disallow: /catalog/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /favorites/
Disallow: /language/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /tags/
Disallow: /templates/
Disallow: /uploads/
Disallow: /addnews.html
Disallow: /rules.html
Disallow: /statistics.html
Disallow: /*do=
Disallow: /*page/
Disallow: /backup/
Disallow: /user/
Disallow: /upgrade/
Disallow: /autobackup.php
Disallow: /index.php?do=search
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
Найдите эти файлы (ниже пути к файлам) и пропишите <meta name="robots" content="noindex"> после <head>
/templates/static_print.tpl
/templates/print.tpl - запретить индексацию версий для печати
/engine/skins/default.skin.php - запрет индексации админки + вы не палитесь в роботсе насчет переименованного файла admin.php
С таким конфигом в индексе количество стр. у яши и гоши почти поровну, и в индексе все нужные страницы.
Кроме krinkrank теги никто не закрывает?:)
Кроме krinkrank теги никто не закрывает?:)
У ТС в первом посте: Disallow: /tags/
Кроме krinkrank теги никто не закрывает?:)
Это только в моем случае на одном из сайтов , теги можно оставить, даже нужно иногда. Это всего лишь пример какие урлы можно закрыть.
спасибо всем за пояснения) с Вашей помощью разобрался