Составьте хороший FAQ, думаю, модераторы только спасибо скажут и закрепят тему.
А вам будет респект и уважуха.
Я всего лишь обратил внимание участников форума на всплеск вашей фантазии за пределы всем известного стандарта 1994 года и всех его расширений от Яндекса и др. (звездочки и т.п.). Пока вы не используете эти расширения, вы остаетесь строго в рамках старого стандарта, его никто не отменял.
Фантазии совершенно неуместны в таком ответственном месте, как robots.txt.
Ясное дело, что роботы не обязаны ничего соблюдать. Но не в их интересах устраивать беспредел и произвол как в ваших фантазиях. Они соблюдают.
Проверялка не моя, а Яндекса, она таких фантазеров ставит на место в один момент.
И еще.
Ваши попытки пожонглировать совершенно не относящимся к теме топика терминами и приводить RFC1738, который никаким образом не относится к теме о robots.txt, и только уводят от предмета обсуждения, действительно могут быть расценены модераторами как флуд. Считайте, что я вас предупредил.
Непонятно, почему вы лезете в бутылку на пустом месте, где все совершенно очевидно даже для новичков.
Почему бы не использовать robots.txt ?
Давайте посмотрим. Надеюсь, что все выделенные слова вам понятны:
Вот слово starts with и означает "начинаются с". Вот вам и "чо", через плечо.
Если слова непонятны, попробуйте в сервис Яндекса сунуть хост www.probkovorot.info и URL http://www.probkovorot.info/news/razvyazka-kosino-mkad/
При наличии строки в robots.txt
Disallow: news
Получите вот что:
Не будут они исключаться, это ваши фантазии.
Есть мнение, что все урлы у всех сайтов начинаются на /
И если у вас нет ни / ни * в начале, то директивы не сработают никогда. Вот такая засада.
Тут раздел "Поисковые системы", а не покупка и продажа трафика.
nickicool, если вы еще не научились говорить слово "нет", то сейчас как раз удобный случай.
Вы и только вы решаете, брать заказчика, или сказать "извините, нет".
А если вы пока берете любых заказчиков, значит у вас нет никакого опыта, вас можно нанять за копейки, вить из вас веревки, а потом вы будете виновыты. Вам это надо?
Или ваши дела настолько плохи?
А на 3000 сколько % ? :)
bligor, здесь нужно задавать конктерные вопросы по теме раздела "Поисковые системы".
А ссылка нарушает п.3.1 правил форума, я ее стираю, а тему закрываю.
Если вы уже согласились что-то продвигать - это большая ошибка и неуважение к себе и заказчику.
Скажите, что вашей квалификации не хватит, чтобы заниматься таким сайтом, пусть ищет более крутого сеошника.
Отдайте ему аванс, если уже взяли, поставьте пузырь, только не связывайтесь. Пусть ищет своего специалиста, они должны, наконец, найти друг друга.