По поводу Robots.txt

Worthy jobs
На сайте с 29.04.2010
Offline
175
829

Здравствуйте!

Создал недавно первый свой сайт (ДЛЕ 9.3), загрузил следующий роботс:

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /newposts/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts
Disallow: /statistics.html
Disallow: /addnews.html
Sitemap: http://мой сайт.ru/sitemap.xml
User-agent: Yandex
Host: мой сайт.ru

Где "мой сайт.ru" - реальное доменное имя.

Скажите, пожалуйста, все ли верно?

И еще такой момент. Яндекс индексирует пользователей, зарегистрированных на сайте, как можно это запретить?

Самый отзывчивый хостинг (https://goo.gl/2zXp1e). У них есть 3 мин на ответ после создания тикета. Проверь! А цены... ммм.
PM
На сайте с 12.02.2008
Offline
87
#1

Если у Вас ЧПУ выключен, то добавьте

Disallow: /index.php?subaction=userinfo&user=*

а если он включен, то

Disallow: /user/ - как раз и запрещает индексирование профилей

да и кстати можете укоротить Ваш роботс так:

User-agent: *
Disallow: /*print
Disallow: /autobackup.php - его необходимо переименовать (сам файл на сервере) и сюда не писать!
Disallow: /admin.php - его необходимо переименовать (сам файл на сервере) и сюда не писать! В целях безопасности и не забудьте в админке в настройках вписать переименованное имя файла
Disallow: /user/
Disallow: /favorites/ - оно по идее итак не проиндексируется, можно строку удалить
Disallow: /backup/
Disallow: /engine/
Disallow: /language/ - тоже не проиндексируется, можно строку удалить
Disallow: /templates/
Disallow: /upgrade/ - вообще удалите папку с сервера
Disallow: /newposts/
Disallow: /index.php?do=*
Disallow: /statistics.html
Disallow: /addnews.html
Disallow: /2011/ - тоже желательно закрыть календарь, ну и по аналогии 2012, 2013 - ***.
Disallow: /tags/ - желательно закрыть теги
Sitemap: http://мой сайт.ru/sitemap.xml
User-agent: Yandex
Host: мой сайт.ru

Вот как-то так :)

[Удален]
#2

Подскажите, как запретить такие дубли категорий :

сайт.ру/forex

сайт.ру/investment/forex/

В данных рубриках (одинаковых) список одних и тех же материалов (последних).

С уважением, Михаил.

PM
На сайте с 12.02.2008
Offline
87
#3
Михaил:
Подскажите, как запретить такие дубли категорий :

сайт.ру/forex
сайт.ру/investment/forex/

В данных рубриках (одинаковых) список одних и тех же материалов (последних).

С уважением, Михаил.

Да это очередной косяк дублей в ДЛЕ... Вообще по идее роботы не должны попадать на сайт.ру/forex, т.к. как понимаю в самом шаблоне у Вас прописано сайт.ру/investment/forex/ , ну а если робот все же проиндексировал, то либо запрещать каждую категорию в роботсе (если их немного), либо искать решение на .htaccess (сам не встречал)

но с запретом через роботс будьте аккуратны, т.к. запретив допустим папку /forex/*, то у Вас все новости должны быть в /investment/forex/, чтоб робот проиндексировал. И не должно быть главной категории forex

Еще в ДЛЕ есть такой косяк дублей:

сайт.ру/investment/forex

сайт.ру/investment/forex/

сам ДЛЕ генерирует названия категории со слэшем на конце, поэтому в шаблоне указываете путь на категорию со слэшем на конце, либо поищите решение через .htaccess (читал что лечится) - сам предлагаемые решения не пробовал, поэтому готового решения не предложу

Worthy jobs
На сайте с 29.04.2010
Offline
175
#4

PerpetuumMobile, спасибо за помощь! Можно тогда еще задам пару нубских вопросов?! :)

PerpetuumMobile:
Если у Вас ЧПУ выключен, то добавьте

Disallow: /index.php?subaction=userinfo&user=*

а если он включен, то

Disallow: /user/ - как раз и запрещает индексирование профилей

Где можно проверить, включен ли ЧПУ? И если юзеры индексируются, то выключен, наверное? Или нет?

PerpetuumMobile:
Disallow: /autobackup.php - его необходимо переименовать (сам файл на сервере) и сюда не писать!

Т.е. из роботса его вообще убираем, правильно? Что касается переименования, то используем любое слово вместо autobackup + на конце php, верно?

PerpetuumMobile:
Disallow: /admin.php - его необходимо переименовать (сам файл на сервере) и сюда не писать! В целях безопасности и не забудьте в админке в настройках вписать переименованное имя файла

В админке только в одном месте вписываем переименованное имя?

И еще. Получается, что вот эти строчки вообще не нужны или можно оставить?

Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts

Заранее благодарен за ответы.

PM
На сайте с 12.02.2008
Offline
87
#5

Конечно можно, постараюсь ответить :)

Worthy jobs:
Где можно проверить, включен ли ЧПУ? И если юзеры индексируются, то выключен, наверное? Или нет?

Админка -> Настройка системы и на первой же странице "Включить/выключить ЧПУ"

Ну по идее, если было в роботсе

Disallow: /user/

и они индексируется, то выключен (что хотя врядле)

Покажите какая ссылка на профиль пользователя у Вас, тогда точнее всё скажу (нажмите на просмотр профиля любого пользователя)

Worthy jobs:

Т.е. из роботса его вообще убираем, правильно? Что касается переименования, то используем любое слово вместо autobackup + на конце php, верно?

Да всё верно. (Просто желательно не палить это имя файла, в самом скрипте оно нигде не используется, имя будет Вам нужно, если настраивать cron)

Worthy jobs:

В админке только в одном месте вписываем переименованное имя?

Да.

Админка -> Настройка системы -> Настройки безопасности скрипта (2 иконка слева). Впишите своё имя_файла.php

Да все эти строчки:

Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts

Мы заменили на:

Disallow: /index.php?do=*

По ошибке только захватил еще одну строчку

Disallow: /index.php?subaction=newposts - но опять же при включенном ЧПУ она нужна, да и в принципе в шаблоне у Вас врядле вообще будет где пробегать данная ссылка, так что без разницы вкл/выкл ЧПУ можно смело удалить

Worthy jobs
На сайте с 29.04.2010
Offline
175
#6
PerpetuumMobile:
Конечно можно, постараюсь ответить :)

Тааак! Нашел. Оказалось, что ЧПУ включен.

Ссылку на пользователя и линк на сайт скину в ЛС, гляньте, пожалуйста.

В остальном все понятно, спасибо еще раз :)

PM
На сайте с 12.02.2008
Offline
87
#7

Решили вопрос в личке, при внимательном изучении увидел что не доглядел строчку

User-agent: Yandex

которая отменяла всё предыдущее в роботсе для робота Яндекса, поэтому в том числе и индексировались юзеры

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий