А уж о Гугле и говорить нечего: :)
http://www.google.ru/corporate/tenthings.html (с)
Евген, поздравляю! Как всегда желаю всем новым модераторам, и вам терпения.
Кофе, однозначно, нужно перестать. Лучше пить водку. :)
P.S.
john2007, абсолютно верное дополнение.
Для более глубокого понимания вопроса:
вот robots.txt Яндекса, для сравнения:
создать robots.txt в корне сайта, т.к. роботс.тхт всегда кладется в корень сайта
User-agent: *
Disallow: /promo/
Закрыли всю директорию promo
-------------------
написать в robots.txt
Disallow: /page1
Disallow: /page2
Disallow: /page3
Disallow: /page4
Disallow: /page5
закрыли 5 страниц на сайте, независимо от директории
не обязательно. Если у вас две, или более страниц, например в разных директориях,
к примеру, в одной - page5.html, а в другой - page5.php, тогда надо.
Я подразумеваю, что в одной директории две страницы page5 с разными расширениями быть не может. :)
Все вместе будет так:
Закрыли всю директорию promo и 5 страниц, независимо от директории
или
Закрыли 5 страниц в директории promo
Ну почему, все. Есть и спокойные люди. 🚬
Да не, Highscreen, все нормально, просто друг-друга не поняли.
Я видимо, отвлекся на происходящее сейчас в другом топике раздела Яндекс ;).
Извините.
Не моё. Кто-то уже употреблял.
zum-zum, ну зачем вы так, Яндекс колбасит, это уже обсуждается:
/ru/forum/152703
или апдейт начался, или предапье. Всё нормализуется.
