Вопрос по файлу robots.txt

nesterdron
На сайте с 09.10.2009
Offline
528
1104

Доброго времени суток.

Что то новые страницы не лезут в поиск.

Решил изучить фаил robots.txt и нашел такие строчки:

Disallow: /index.php?do=addnews
Disallow: /index.php?do=lostpassword

Объясните пожалуйста что они означают.

Заранее спасибо.

➨Куплю порн0 трафик - писать в ЛС<<< ➨Хостинг, VPS - Саппорт всегда Онлайн. Скидки и Тестовый период! (https://is.gd/5mCoBt) ➨о_0
RedBird
На сайте с 10.05.2010
Offline
128
#1

Это значит, что страницы site.ru/index.php?do=addnews и site.ru/index.php?do=lostpassword запрещены для индексации.

🚀 Push партнерка с Header Bidding: https://t.ly/LuTl 🍋 Выжимай максимум со всех Push рекламных сетей.
RO
На сайте с 25.10.2008
Offline
108
#2

Disallow: /index.php?do=addnews

Disallow: /index.php?do=lostpassword

1 - страница добавления новости

2 - восстановления пароля

Следовательно, страницы не лезут по другой причине.

nesterdron
На сайте с 09.10.2009
Offline
528
#3

Ок,всем спасибо,буду искать дальше.

A1
На сайте с 23.12.2010
Offline
2
#4
nesterdron:
Доброго времени суток.

Что то новые страницы не лезут в поиск.
Решил изучить фаил robots.txt и нашел такие строчки:



Объясните пожалуйста что они означают.

Заранее спасибо.

Файл sitemap.xml добавьте в роботс.тхт, тогда возможно полезут ПС быстрее страницы найдет тогда. Движок скорее всего DLE у Вас, судя по строкам. :)

[Удален]
#5

...потёрто...

[Удален]
#6

Попробуйте составить грамотный robots.txt для ДЛЕ. Может быть, полезут тогда страницы в индекс. Кстати, о составлении этого файла для ДЛЕ можно почитать здесь.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий