откуда берутся страницы

F1
На сайте с 28.12.2013
Offline
53
422

здравствуйте.

подскажите такой вопрос. не могу разобраться. я оптимизирую сайт

thefrigate.ru

количествво страниц некоторое время назад скакнуло до 900, всего страниц на сайте 7

с помощью robots.txt я снизил их до 468, но они как то сами генерируются. сайт не движок. мне не понятно, откуда появляются новые страницы?????

помогите пожалуйста

luckyfish123
На сайте с 02.04.2012
Offline
32
#1

ааа, мои глаза, шрифт.

сайт:домен.ру выдает кучу таких страниц thefrigate.ru›obzor.php/”/”/price.php

serezka
На сайте с 19.04.2009
Offline
136
#2

В роботсе закрываете от индексации весь сайт, и разрешаете к индексации все необходимые страницы. Если не ошибаюсь, так можно =)

________

Да, можно, вот так:

Disallow: /*

allow: /$

allow: /321

321 - для примера, вместо него указываете все страницы которые должны индексироваться.

Вариант рабочий, но подходит только если страниц для индексации мало, а весь мусор не вычистить. Как раз для вас.

Это форум. А это ↑ моё мнение. Оно может не совпадать с вашим. Это нормально.
F1
На сайте с 28.12.2013
Offline
53
#3
luckyfish123:
ааа, мои глаза, шрифт.
сайт:домен.ру выдает кучу таких страниц thefrigate.ru›obzor.php/”/”/price.php
serezka:
В роботсе закрываете от индексации весь сайт, и разрешаете к индексации все необходимые страницы. Если не ошибаюсь, так можно =)


________

Да, можно, вот так:

Disallow: /*
allow: /$
allow: /321


321 - для примера, вместо него указываете все страницы которые должны индексироваться.


Вариант рабочий, но подходит только если страниц для индексации мало, а весь мусор не вычистить. Как раз для вас.

Спасибо, щас попробую

serezka
На сайте с 19.04.2009
Offline
136
#4
formula15:
Спасибо, щас попробую

Не забудьте только проверить всё-ли правильно, чтобы нужные страницы не закрыть.

http://webmaster.yandex.ru/robots.xml

F1
На сайте с 28.12.2013
Offline
53
#5
serezka:
Не забудьте только проверить всё-ли правильно, чтобы нужные страницы не закрыть.
http://webmaster.yandex.ru/robots.xml

неправильные страницы не пропадают

может надо так

Disallow: /*

Allow: /$

Allow: /321.php$

?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий