про robots.txt - тяг - host

guess_ein, ну логично же, возвращаясь к host, не целиком не учитывать секцию, а не учитывать только ту часть (директиву), которая делает эту секцию не соотвествующей стандарту, ведь без этой части секция полностью валидна, более того, содержит указания роботу.

Ziby, а вот сиё поведение зеркальщиков и других роботов можно, либо (при большом желании) проверить опытным путем, либо все таки довериться здравому смыслу, что если есть возможность указывать конкретного робота то не зря... "если звезды зажигают, значит это кому-то нужно" (с) И по логике-то как раз стоит писать каждому боту его специфичные указания отдельно и пакет указаний для всех остальных...

вспоминаем как это в программировании делается с оператором case. N-вариантов и default...

абсолютно логично. только иногда программы работают чуть чуть не так, как хотел программист.

слоном в считаете ПС? вы думаетие там сидят не люди, а боги? ну да, в яндексе дыру в капче 4 месяца устраняли, угу, супер программисты просто.

я намеренно не стал давать названий и ссылок, курите поиск по форуму, если интересно.

потому что возможно это только легенды. сам лично я не проверял. но если для предотвращения гипотетической потенциальной проблемы мне нужно дописать 3 строки в robots, я допишу.

но если настаиваете, пожалуйста http://robotstxt.org.ru/RobotstxtErrors#h83-16 и http://notes.webartsolutions.com/archives/000084.html

это вы меня так подколоть пытаетесь? а скажите, у вас DOCTYPE на страницах ваших сайтов прописан? или нафиг, и без него работает?

это риторический вопрос, не надо на него отвечать. закончим дискуссию, я думаю все уже сделали для себя выбор, что писать в robots.

По поводу составления роботс.тхт считаю правильным вариант, в котором host прописан отдельно для Яндекса.

А вот по поводу зеркальщика хотел посоветоваться.

Есть у меня есть сайт.ру и на него уже много ссылок, он был в топе по большому числу нч и сч запросов. Но перед новым годом, почти по всем запросам вылетел. После праздников я разобрался, что Яндекс взял www.сайт.ру как главное зеркало, а сайт.ру выкинул из индекса. Сайт соответственно исчез из топа по 90% запросов. Я прописал в роботс.тхт директиву host сайт.ру и думаю, что теперь после прихода зеркальщика все должно получиться.

Но *меня терзают смутные сомнения* (с), не быстрее ли будет удалить сайт из индекса и подождать новой индексации? Правда опасаюсь, что Яндекс опять захавает сайт с www и зеркальщика все равно придется ждать.

Еще думаю надо ли сделать 301 редирект с www на домен без www и если недо, то каким образом его сделать - разделить сайт на 2 папки и прописать редирект в .htaccess ?

Megamozg, лучше просто дождаться зеркальщика, а потом можно и редирект при желании ставить.

А как все таки правильно - так

User-agent: Yandex

Host: www.example.com

или так?

User-agent: Yandex

Disallow:

Host: www.example.com

как вы блин занимаетесь поисковой оптимизацией, я фигею. я же дал сайт http://robotstxt.org.ru/

мало ли что где пишут - я спрашиваю у гуру форума

А вообще яндексу такой вариант не нравится , потому и вопрос возник

User-agent: Yandex

Disallow:

Host: www.example.com

Плазан, я все не пойму, а после Disallow идет адрес что запрещать или пустое значение?

Megavolt, Откуда такое стремление сделовать букве рекомендациям?

robots.txt прекрасно обрабатывется ПС даже с наличием host. Ибо этого сам принцып обработки потоковых данных.

Вспомнили doctype. Вы можете много назвать юзерагентов, которые его анализируют? Кроме WebTV и валидаторов - я никого не встречал. Возможно FF начнет, если не умрет к тому времени.