- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте! Извиняюсь, что немного пишу немного не в ту ветку форума. Просто создавал уже аналогичую тему в сайтостроителсьтве, там так ничего и не ответили
Помогите пожалуйста составить правильный robots.txt для dle. Прочитал уже много тем на различных форумах и блогах, но везде роботсы отличались. Наиболее корректным показался этот:
User-agent: Yandex
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: ваш-сайт.ру
Sitemap: http://ваш-сайт.ру/sitemap.xml
User-agent: *
Disallow: /backup/
Disallow: /user/
Disallow: /engine/
Disallow: /language/
Disallow: /upgrade/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://ваш-сайт.ру/sitemap.xml
Многие еще советуют закрывать папку uploads, но ведь это уменьшит трафик, так как при поиске картинок через яндекс или гугл, ваш сайт не будет отображаться...или я ошибаюсь? Также советуют закрывать директорию print, но в моем шаблоне версии для печати нет, поэтому закрывать нечего. Пожалуйста помогите разобраться с этим вопросом. Может кто предоставит свои robots.txt. Заранее всем спасибо.
User-Agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /go.php?url=*
Disallow: /goo.php?url=*
Disallow: /goo.php
Disallow: /engine/go.php
Disallow: /engine/go.php?url=*
Disallow: /user/
Disallow: /tags/
как то так =)
но опять же разные сайты разные роботсы, где то стоит одно закрыть, где то другое..
User-agent: *
Disallow: /?subaction=
Disallow: /index.php?subaction=
Disallow: /user/
Disallow: /engine/
Disallow: /tags
Host: site.ru
P.s.
Всё о robots.txt - > http://robotstxt.org.ru/
Я бы сделал так:
User-agent: *
Disallow: /backup/
Disallow: /user/
Disallow: /engine/
Disallow: /language/
Disallow: /autobackup.php
Disallow: /index.php
Disallow: /statistics.html
User-agent: Yandex
Disallow: /backup/
Disallow: /user/
Disallow: /engine/
Disallow: /language/
Disallow: /autobackup.php
Disallow: /index.php
Disallow: /statistics.html
Host: sait.ru
Sitemap: http://sait.ru/sitemap.xml
Папку upgrade я бы вообще удалил с хостинга, так как после установки движка не нужна.
Путь к админки сайта я бы тоже не палил.
ТС, ответили🚬
/ru/forum/comment/8252278
User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /catalog/ - если нужно, закрываем каталог
Disallow: /tags/ - если нужно, закрываем теги
Disallow: /2010/ - если нужно, закрываем архивы (нужные года сами подставьте)
Disallow: /statistics.html
Disallow: /*rss - закрываем, если не хотите видеть ошибку в ВМ "Формат не поддерживается"
Disallow: /*print - если нужно, закрываем версии для печати (я закрываю так, а не средствами двига, т.к. двиг добавляет noindex и nofollow, что уже не актуально)
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Allow: /
Sitemap: http://www.сайт.ru/sitemap.xml
Host: www.сайт.ru
ПС: Все конечно индивидуально.
Это вообще не понятно, зачем закрывать:
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /autobackup.php
Disallow: /admin.php
autobackup.php и admin.php нужно переименовать на свое уникальное название, папку upgrade - удалить. User-agent: Yandex и User-agent: * не дублируют. * - все поисковики, Yandex - только Yandex.
Как-то так. 🚬
Пардон, ноиндекс не добавляет.