1. Знак * дописывается ко всем урлам, где нет знака $, т.е. / и /* одно и то же.
2. Индексировать главную страницу по двум урлам / и /index.php неправильно
3. В конец урлов, в вашем случае, надо ставить знак $ иначе откроете для индексации весь мусор, типа /contacts.php?utm_source=xxx&utm_medium=xxxx ну и т.д. (выше в этом же топике про подобные проблемы кто-то уже упоминал)
Linux: Большое спасибо,
а вот так как я написал не получится? просто самому интересно :)
User-agent: Yandex
Allow: /
Allow: /index.php
Allow: /contact.php
Disallow: /*
были бы запрещены для индексации все категории search, а по новым правилам, такой порядок директив будет обрабатываться также, как и указанный вами вариант. То есть первыми будут обрабатываться директивы для более "коротких" URL, независимо от того, в какой последовательности эти директивы будут прописаны.
В приведенном вами примере я вообще не вижу логики. Чем надо руководствоваться, чтобы вставлять директивы Allow между или после директив Disallow?
Раньше у меня при составлении файлов была примерно такая логика:
закрываем все разделы, которые не должны индексироваться;
составляем список директив Disallow;
находим в них подразделы, которые являются исключениями и должны попасть в индекс;
составляем список директив Allow.
Т.к. директивы Allow всегда являются исключениями из директив Disallow, они всегда должны стоять выше и обрабатываться первыми.
Пожалуйста покажите на ваших конкретных примерах файлов и урлов - что поменялось?
Сомневаюсь, что кто-то что-то починил. Я на протяжении последнего года замечаю регулярно такие косяки с количеством страниц. Они время от времени то появляются, то исчезают.
Количество ссылок Яндекс никогда и не показывал правильно, и вряд ли будет показывать.
В Яндекс Вебмастере косяков много, но решать их никто не спешит. Только самые явные дырки на которые все хором жаловаться начинают, они закрывают.
Можно и в других местах хороших ссылок купить и 90% в топ попадут за 1-2 апа. Сапа, миралинкс, просто размещение на трастовых площадках.
Просто если я покупаю 1000 ссылок по 5 рублей, то не жду, что 90% за пару апов в индекс попадет. А если я покупаю 10 ссылок по 100-200 рублей, то достаточно иметь совсем немного опыта, чтобы подобрать площадки с которых за 1-2 апа ссылки попадут в индекс.
Опишите пожалуйста более подробно, в чем заключается ваша технология ускорения индексации ссылок.
Megamozg: т.к. не нашел в хелпе яндекса нужного примера
Kost: Синтаксис использования директивы:
Clean-param: p0[&p1&p2&..&pn] [path]
Мне понятен синтаксис, но вопрос остается прежний.
Megamozg добавил 18.02.2011 в 11:27
Ни одного четкого ответа на простой вопрос... :(
Конечно обсуждать индексацию говносайтов, работу говноссылок и давать советы отчаявшимся вебмастерам у которых СДЛ с уникальным копипастом уже целых 2 дня не попадает в индекс намного интереснее...
Я конечно узнаю со временем ответ на свой вопрос, но хотелось бы научиться на чужих ошибках. Если у кого-нибудь есть опыт закрытия страниц с метками, отпишитесь пожалуйста, я буду вам очень признателен.
Перепроверил файлы robots.txt на нескольких десятках сайтов. Не нашел ни одного примера, где что-либо начало учитываться и индексироваться по другому.
Так что вопрос все еще актуальный )))
Так неужели тут нету тех, кто разобрался и может на примерах показать, какие изменения произошли в учете директив файла robots.txt?
По старым правилам обработки для индексации запрещен весь сайт, по новым - весь, кроме /catalog
Почему по старым правилам запрещен весь каталог к индексации - понимаю.
Почему по новым весь, кроме /catalog - не понимаю.
Почему не получится?
А так, как вы написали, для гугла работает тоже ?
Для гугла тоже будет работать!
Ваш вариант неправильный по нескольким причинам.
1. Знак * дописывается ко всем урлам, где нет знака $, т.е. / и /* одно и то же.
2. Индексировать главную страницу по двум урлам / и /index.php неправильно
3. В конец урлов, в вашем случае, надо ставить знак $ иначе откроете для индексации весь мусор, типа /contacts.php?utm_source=xxx&utm_medium=xxxx ну и т.д. (выше в этом же топике про подобные проблемы кто-то уже упоминал)
Большое спасибо,
а вот так как я написал не получится? просто самому интересно :)
User-agent: Yandex
Allow: /
Allow: /index.php
Allow: /contact.php
Disallow: /*
Так, как вы написали не получится.
Linux,
User-agent: *
Allow: /$
Allow: /contacts.php$
Disallow: /
Если только для Яндекса, то пропишите в юзер агенте Yandex. Не забудьте хост и путь к *.xml карте сайта написать.
Можно воспользоваться анализатором http://webmaster.yandex.ru/site/robots.xml
В гугл вебмастере есть аналогичный инструмент.
Мой изначальный вопрос все еще актуален! ;)
В данном случае ничего не изменится.
Просто раньше в таком варианте:
Disallow: */search/
Allow: /search/map.php$
Allow: /search/$
Disallow: /bitrix/
были бы запрещены для индексации все категории search, а по новым правилам, такой порядок директив будет обрабатываться также, как и указанный вами вариант. То есть первыми будут обрабатываться директивы для более "коротких" URL, независимо от того, в какой последовательности эти директивы будут прописаны.
В приведенном вами примере я вообще не вижу логики. Чем надо руководствоваться, чтобы вставлять директивы Allow между или после директив Disallow?
Раньше у меня при составлении файлов была примерно такая логика:
Т.к. директивы Allow всегда являются исключениями из директив Disallow, они всегда должны стоять выше и обрабатываться первыми.
Пожалуйста покажите на ваших конкретных примерах файлов и урлов - что поменялось?
Сомневаюсь, что кто-то что-то починил. Я на протяжении последнего года замечаю регулярно такие косяки с количеством страниц. Они время от времени то появляются, то исчезают.
Количество ссылок Яндекс никогда и не показывал правильно, и вряд ли будет показывать.
В Яндекс Вебмастере косяков много, но решать их никто не спешит. Только самые явные дырки на которые все хором жаловаться начинают, они закрывают.
Так в чем фишка системы?
Можно и в других местах хороших ссылок купить и 90% в топ попадут за 1-2 апа. Сапа, миралинкс, просто размещение на трастовых площадках.
Просто если я покупаю 1000 ссылок по 5 рублей, то не жду, что 90% за пару апов в индекс попадет. А если я покупаю 10 ссылок по 100-200 рублей, то достаточно иметь совсем немного опыта, чтобы подобрать площадки с которых за 1-2 апа ссылки попадут в индекс.
Опишите пожалуйста более подробно, в чем заключается ваша технология ускорения индексации ссылок.
Я написал выше:
т.к. не нашел в хелпе яндекса нужного примера
Синтаксис использования директивы:
Clean-param: p0[&p1&p2&..&pn] [path]
Мне понятен синтаксис, но вопрос остается прежний.
Megamozg добавил 18.02.2011 в 11:27
Ни одного четкого ответа на простой вопрос... :(
Конечно обсуждать индексацию говносайтов, работу говноссылок и давать советы отчаявшимся вебмастерам у которых СДЛ с уникальным копипастом уже целых 2 дня не попадает в индекс намного интереснее...
Я конечно узнаю со временем ответ на свой вопрос, но хотелось бы научиться на чужих ошибках. Если у кого-нибудь есть опыт закрытия страниц с метками, отпишитесь пожалуйста, я буду вам очень признателен.