Без хоста в роботсе на "подставляемом" сайте и некоторых других факторов - это будет сделать сложно.
Угу, спроси Миху, как он один раз доверил кому-то что-то регистрировать (где-то его тема тут на форуме есть). Потом рад не был результатам. Так что инструкция - это парень правильно придумал. :)
... ну или часик посидеть и на практике все показать.
Вот весьма компетентный источник, который Вам все толком объяснит.
И еще один.
Вот стандарт оформления файла - http://www.robotstxt.org/wc/norobots.html
Наука - это то, чем занимаются ребята из групп разработки поисковых машин: переваривают кучу знаний из лингвистики, вычислительной математики, программирования и т.п. Естественно, большая часть их работы рассчитана на практическое примение, но кое-то уходит в теорию: новые алгоритмы для вычмата, может еще что-то. Оптимизация - это ..., ну наукой бы я не назвал. Да, какие-то теоретические аспекты требуется изучить и постоянно обновлять, а в остальном - это практика.
Поздравляю!
А сколько нужно, чтоб получить такой - http://www.blog.promosite.ru/yfck.gif ? 😂
Миллион постов, а интересные и полезные сообщения в несколько десятков вместятся.
(исключение - темы про празднование на форуме и т.п., там интересно :))
Upd: Очень жаль, что на форуме не предусмотрена возможность подписаться на новые сообщения какого-то конкретного человека. Именно человека, а не темы. Ибо при перелопачивании такого большого количества тем и сообщений что-то полезное сказанное ими можно пропустить, а не хотелось бы ...
Ткни в какую-то из свежесозданных тем и посмотри в урл. :)
Указанные тобой цифры скорее всего с поправкой на удаленные etc модераторами с Сергеем темы.
