robot.txt что еще там прописать?

12
N
На сайте с 25.07.2013
Offline
36
982

Добрый день. Мой сайт был закрыт от индексации. Я убрал главную заглушку, но там остался целый набор записей с Disallow. Не понимаю что с этим делать, чтобы в итоге все нормально индексировалось. На данный момент в файле следующие записи:

User-agent: *

Disallow:

Disallow: /index.php?show_price=yes

Disallow: /index.php?register=yes

Disallow: /index.php?feedback=yes

Disallow: /index.php?shopping_cart=yes

Disallow: /index.php?*sort=name&direction=ASC

Disallow: /index.php?*sort=name&direction=DESC

Disallow: /index.php?*sort=Price&direction=ASC

Disallow: /index.php?*sort=Price&direction=DESC

Disallow: /index.php?*sort=customers_rating&direction=ASC

Disallow: /index.php?*sort=customers_rating&direction=DESC

Disallow: /index.php?*discuss=yes

Disallow: /index.php?*picture_id=

Disallow: /index.php?*searchstring=

Disallow: /index.php?*search=

Disallow: /printable.php*

Disallow: /cart.php* Disallow: /index.php$

Disallow: /*ukey=auth

Disallow: /*ukey=register

Host: ******

Sitemap: ******

Удалять их?

Спасибо, неравнодушным.

deepslam
На сайте с 09.05.2006
Offline
204
#1

Оставьте так:


User-agent: *
Disallow:
Удаление вирусов на сайте (http://www.virusonsite.ru) | Scripto CMS - бесплатная система управления сайтом (http://www.scripto-cms.ru) |Профессиональный скрипт каталога ссылок , статей, фирм и объявлений! (http://www.scripto.ru) | Уникальный скрипт для публикации контента (http://publisher.scripto.ru)
[Удален]
#2

deepslam, это из серии вредных советов?

N
На сайте с 25.07.2013
Offline
36
#3

Хм. Как же правильно?

[Удален]
#4

Nikkin, служебные страницы незачем индексировать (регистрации, сортировки, версии для печати и т.п.)

проверить что закрыто а что нет можно в вебмастере яндекса http://webmaster.yandex.ru/robots.xml

N
На сайте с 25.07.2013
Offline
36
#5

Спасибо, Бурундук. Теперь логика понятна.

ExVood
На сайте с 02.07.2013
Offline
39
#6

Учитесь скрывать с помощью файлов движка:

<meta name="robots" content="noindex,nofollow" />

Есть мнение опытных оптимизаторов - что чем меньше весит robots, тем лучше сайт ранжируется.

RT
На сайте с 02.07.2012
Offline
90
#7
ExVood:
Есть мнение опытных оптимизаторов - что чем меньше весит robots, тем лучше сайт ранжируется.

ссылку на пруф предоставьте

siv1987
На сайте с 02.04.2009
Offline
427
#8
ExVood:
Есть мнение опытных оптимизаторов - что чем меньше весит robots, тем лучше сайт ранжируется.

http://en.wikipedia.org/robots.txt

ExVood
На сайте с 02.07.2013
Offline
39
#9

Фига се, налепили -сов в репу, валенки:

http://alaev.info/blog/post/3013

RT
На сайте с 02.07.2012
Offline
90
#10

ExVood, и где там сказано про размер robots.txt?

Вы про этот коммент?

http://alaev.info/blog/post/3013#comment-7970

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий