- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день!Помогите,пожалуйста,настроить robots.txt на DLE 9.6 для максимально эффективной индексации.
В данный момент стандарт:
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Спасибо.
P.S.Отправил sitemap.xml гуглу.Выдаёт предупреждения:
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt:
Значение: http://мой сайт/index.php?do=feedback
-
8 июля 2012 г.
Значение: http://мой сайт/index.php?do=lostpassword
-
8 июля 2012 г.
Значение: http://мой сайт/index.php?do=register
если сайтмэп содержит заблокированные урлы, то всё верно ругается. Вы решите, блокировать их или нет? Если да, то уберите их из sitemap
Ясно.А что по поводу robots?
Ну, сам файл вроде бы верен с точки зрения синтаксиса. Я не знаком с DLE, поэтoму не знаю, что там нужно блокировать. Я лишь написал о причине возникновения предупреждений
Ясно.А что по поводу robots?
В конце можно добавить:
Disallow: /admin.php
Host: Ваш_сайт
Sitemap: http://Ваш_сайт/sitemap.xml
В конце можно добавить:
Disallow: /admin.php
Host: Ваш_сайт
Sitemap: http://Ваш_сайт/sitemap.xml
Offtop: Кстати, я стараюсь не указывать в роботс данные о месторасположения админа. Т.к. хакеры частенько заглядывают в этот файл чтобы узнать что где находится. Кроме этого, желательно переименовать админ, "чтобы никто не догадался" ;)
В конце можно добавить:
Disallow: /admin.php
- системные файлы боты по-дефолту не инд.
- не вижу здравого смысла в этом: Disallow: /newposts/ 🙄
- если закрыли Disallow: /engine/ - то все вложенные тоже закрыты.. -> для параноиков: - print тоже закройте
User-Agent: Yandex
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /*print
Disallow: /*page/*
Disallow: /201*/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=lastnews
Disallow: /*do=rules
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*action=mobile*
Host: site.ru
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /*print
Disallow: /*page/*
Disallow: /201*/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=lastnews
Disallow: /*do=rules
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*action=mobile*
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
У меня такой.
Как раз вчера писал про правильный роботс - http://alaev.info/blog/post/3900
Не поверите, но в идеале роботс для DLE состоит из 4-х строк :)
Как раз вчера писал про правильный роботс - http://alaev.info/blog/post/3900
Во, я там у вас оставил коммент, но повторю.
После вставки кода сама страница новости тоже закрыта получается
Во, я там у вас оставил коммент, но повторю.
После вставки кода сама страница новости тоже закрыта получается
Полагаю, вопрос решен?