Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Robots.txt - запретить интексацию... Подскажите.

AL
На сайте с 18.11.2005
Offline
93
Alex LM
412

Продаются линки с мордочки... Так вот Яндекс находит ссылку на поставленный линк на 6 страницах.

Страницы(позиции):

1. мойдомен.ру · 33 КБ

2. мойдомен.ру · 30 КБ

3. мойдомен.ру/чужойдомен.ру · 38 КБ

4. мойдомен.ру/index.php · 35 КБ

5. мойдомен.ру/forum/мойдомен.ру?id=248&page=8

6. мойдомен.ру/forum/мойдомен.ру?id=9

1,2,4 позиции озадачивают... Это один и тот же файл.

3,5,6... Файлов нет, хотя, скорее всего были.

Хотелось бы прописать в роботсе запрет на индексацию ненужных страниц.

Не раз составлял код для роботса, но наверное, далеко не во всем разобрался... Не знаю как объснить Яндексу что 2-6 позиции не нужны.

Буду рад, если подскажите... В идеале, приведите код :p

Спасибо.:)

Alex Life Mix - путешествия (http://alexlifemix.com/) - покупаю сайты (/ru/forum/320954)
Ctulhu
На сайте с 21.05.2005
Offline
222
Ctulhu
#1

Вот это еще раз и внятно, пожалуйста 😮

Alex LM:
Так вот Яндекс находит ссылку на поставленный линк на 6 страницах.
Страницы(позиции):
1. мойдомен.ру · 33 КБ
2. мойдомен.ру · 30 КБ
3. мойдомен.ру/чужойдомен.ру · 38 КБ
4. мойдомен.ру/index.php · 35 КБ
5. мойдомен.ру/forum/мойдомен.ру?id=248&page=8
6. мойдомен.ру/forum/мойдомен.ру?id=9

1,2,4 позиции озадачивают... Это один и тот же файл.
3,5,6... Файлов нет, хотя, скорее всего были.

Если просто, то 

User-agent: *

Disallow: /точтовамнужнозапретить.html

/ означает корень сайта.

+смотрите подпись

https://atabekov.business
AL
На сайте с 18.11.2005
Offline
93
Alex LM
#2
Ctulhu:
Вот это еще раз и внятно, пожалуйста 😮

http://www.yandex.ru/yandsearch?surl=мойдомен&Link=доменнакоторыйссылаюсьсморды

Справшиваем у Яндекса и видим 6 страниц. Думаю, внятно :)

С Disallow, вроди как понятно.

Вот только, что делать, если Яша определяет

1. мойдомен.ру · 33 КБ

2. мойдомен.ру · 30 КБ

4. мойдомен.ру/index.php · 35 КБ

как разные страницы 😕 ...

P.S. - Сайт отличный. Спасибо!

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
Егор
На сайте с 28.02.2006
Offline
231
Егор
#3

Alex LM, это быстроробот показывает Вам вторую копию. Ну и на index.php надо меньше ссылаться :) Все нормально, ничего страшного :)

Shakes.pro (http://Shakes.pro/) & Leadbit.com (http://Leadbit.com/) - товарка по всему миру С уважением, Егор

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий