- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Нужен правильный robots.txt
Подскажите что нужно добавить, а что лишние тут:
Было бы неплохо если бы написали какой у вас robots.txt !
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /tags
Sitemap: http://www.my_site.ru/sitemap.xml
User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /tags
Sitemap: http://www.my_site.ru/sitemap.xml
Host: www.my_site.ru
Вот эта конструкция:
на самом деле ничего не запрещает :(
Регулярные выражения в robots.txt, к сожалению, не работают.
через yandex webmaster можно проверить работу robots
http://webmaster.yandex.ru/site/robots.xml
Индексация изображений вам не нужна? И зачем указывать путь к админке, желатили взломать всегда найдутся.
Вот эта конструкция:
Цитата:
Disallow: /*print
на самом деле ничего не запрещает
Регулярные выражения в robots.txt, к сожалению, не работают.
Все оно запрещает! У меня эта конструкция запрещает так, что ни один Яндекс не осмелится эти страницы проиндексировать
Так же интересует вопрос который задал ТС
Disallow: /user/
Disallow: /favorites/
Disallow: /engine/
Disallow: /language/
Disallow:/cache/
Disallow: /?do=lastcomments
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /tags
Sitemap: http://www.my_site.ru/sitemap.xml
Host: www.my_site.ru
Не указывайте в роботсе пути к админке и базам данных, а также скриптам для дампа БД.
Есть вопросы задавайте
Не указывайте в роботсе пути к админке и базам данных, а также скриптам для дампа БД.
Есть вопросы задавайте
хм...Почему?
видя путь по которому находится админка, можно воспользоваться программой по подбору паролей и взломать движек (Стандартные правила безопасности). С БД та же история, скачают и разойдется по всему нету.
видя путь по которому находится админка, можно воспользоваться программой по подбору паролей и взломать движек (Стандартные правила безопасности). С БД та же история, скачают и разойдется по всему нету.
Ставим нормальный пароль (а не 123456) и не кто его не взломает по подбору.:) Что же касается БД, создаем файл .htaccess с содержанием:
Deny from all
заливаем его в папку с базой, и все теперь скачать базу можно будет только по фтп.
Disallow: /engine/redirect.php
Disallow: /language/
Disallow: /upgrade/
Disallow: /templates/
Sitemap: http://мой сайт/sitemap.xml
User-Agent: Yandex
Disallow: /engine/redirect.php
Disallow: /language/
Disallow: /upgrade/
Disallow: /templates/
Sitemap: http://мой сайт/sitemap.xml
Host: мой сайт
Сделал так и все нормально. Страницу редиректа запретил, потому что на ней реклама, которая явно не понравится яндексу.