Перепроверил файлы robots.txt на нескольких десятках сайтов. Не нашел ни одного примера, где что-либо начало учитываться и индексироваться по другому.
Так что вопрос все еще актуальный )))
Так неужели тут нету тех, кто разобрался и может на примерах показать, какие изменения произошли в учете директив файла robots.txt?
Почему по старым правилам запрещен весь каталог к индексации - понимаю.
Почему по новым весь, кроме /catalog - не понимаю.
Для гугла тоже будет работать!
Ваш вариант неправильный по нескольким причинам.
1. Знак * дописывается ко всем урлам, где нет знака $, т.е. / и /* одно и то же.
2. Индексировать главную страницу по двум урлам / и /index.php неправильно
3. В конец урлов, в вашем случае, надо ставить знак $ иначе откроете для индексации весь мусор, типа /contacts.php?utm_source=xxx&utm_medium=xxxx ну и т.д. (выше в этом же топике про подобные проблемы кто-то уже упоминал)
Так, как вы написали не получится.
Linux,
User-agent: *
Allow: /$
Allow: /contacts.php$
Disallow: /
Если только для Яндекса, то пропишите в юзер агенте Yandex. Не забудьте хост и путь к *.xml карте сайта написать.
Можно воспользоваться анализатором http://webmaster.yandex.ru/site/robots.xml
В гугл вебмастере есть аналогичный инструмент.
Мой изначальный вопрос все еще актуален! ;)
В приведенном вами примере я вообще не вижу логики. Чем надо руководствоваться, чтобы вставлять директивы Allow между или после директив Disallow?
Раньше у меня при составлении файлов была примерно такая логика:
Т.к. директивы Allow всегда являются исключениями из директив Disallow, они всегда должны стоять выше и обрабатываться первыми.
Пожалуйста покажите на ваших конкретных примерах файлов и урлов - что поменялось?
Сомневаюсь, что кто-то что-то починил. Я на протяжении последнего года замечаю регулярно такие косяки с количеством страниц. Они время от времени то появляются, то исчезают.
Количество ссылок Яндекс никогда и не показывал правильно, и вряд ли будет показывать.
В Яндекс Вебмастере косяков много, но решать их никто не спешит. Только самые явные дырки на которые все хором жаловаться начинают, они закрывают.
Так в чем фишка системы?
Можно и в других местах хороших ссылок купить и 90% в топ попадут за 1-2 апа. Сапа, миралинкс, просто размещение на трастовых площадках.
Просто если я покупаю 1000 ссылок по 5 рублей, то не жду, что 90% за пару апов в индекс попадет. А если я покупаю 10 ссылок по 100-200 рублей, то достаточно иметь совсем немного опыта, чтобы подобрать площадки с которых за 1-2 апа ссылки попадут в индекс.
Опишите пожалуйста более подробно, в чем заключается ваша технология ускорения индексации ссылок.
Я написал выше:
Мне понятен синтаксис, но вопрос остается прежний.
Megamozg добавил 18.02.2011 в 11:27
Ни одного четкого ответа на простой вопрос... :(
Конечно обсуждать индексацию говносайтов, работу говноссылок и давать советы отчаявшимся вебмастерам у которых СДЛ с уникальным копипастом уже целых 2 дня не попадает в индекс намного интереснее...
Я конечно узнаю со временем ответ на свой вопрос, но хотелось бы научиться на чужих ошибках. Если у кого-нибудь есть опыт закрытия страниц с метками, отпишитесь пожалуйста, я буду вам очень признателен.
