Без толку - в лучшем случае - стандартная отписка "ранжируется в соответствии с алгоритмом"
Не признаются. Вероятнее всего "ты последний" по их понятиям не санкция
fespro, rogach, туда попадают новорожденные "белее белого" сайты, с полностью уникальным содержимым.
dedegor, с учетом реалий нашего менталитета (кум, сват брат) Вам нужно искать "блат". Он есть на форуме, ищите и обрящите.
СуперМэн, что то я к часу ночи совсем глупый стал. Как Ваши теперешние заявления соотносятся с этим постом? Раскрутились за три недели?
В двух словах перевел. Товарищ Andrew Wooster взял базу Открытого Каталога (по его прикидкам, это около 4% Интернета), отпарсил ее, достав все домены (около 4,6 миллионов), а потом самописным пауком забрал с каждого домена robots.txt. Его мускульная база потянула на 12Гб.
Потом провел незатейливый анализ - если при запросе robots.txt сервер отдает 2хх - ОК, если 4хх - сакс. Код 200 отдали 1,2 миллиона сайтов, код 404 - 3 миллиона. Остальные 400 тысяч сайтов отдавали самую разнообразную петрушку. 21 сайт отдал код, о котором даже w3 Консорциум ничего не знает, типа 490 или 900.
Около 65% отдают 4хх страницу - т.е. robots.txt отсутствует. 7,6% перенаправляют запрос на другую страницу - обычно на морду. И только около 26% имеют этот файл.
Сводная таблица выглядит так:
Класс Количество Процентов
5xx 4,338 0.09
4xx 3,035,454 65.86
3xx 350,946 7.61
2xx 1,217,559 26.42
1xx 12 0.00
ХЗ 21 0.00
Ну и, натурально, начал глумиться над незадачливыми веб-мастерами и мастерицами.
Некоторые специалисты решили размещать свой robots.txt не в виде text, а чего-нибудь повеселее. Самыми частыми ошибками MIME Types были:
* text/enriched
* text/css
* text/x-perl
* text/vnd.wap.wml
Присутствуют перлы:
* text/svg
В общем, товарищ Andrew Wooster осмелился предположить, что Стандарт исключения слишком сложен для основной массы вебдауновмастеров. Отсутствие robots.txt означает, что вебмастер не знает о существовании роботов, и роботы должны держаться от него подальше (с).
В качестве бонуса шедевры настоящих мастеров. Сорри за пиар
Вот что делают сильные духом вебмастера http://www.webmasterworld.com/robots.txt
Всем зарубить на носу: rtfm (четвертый абзац), а не imho
Это еще ничего. У меня на медицинском сайте - "купить пластиковые окна" попадается. Натурально, никаких окон я не продаю.
(Lasto на своем блоге как-то писал, что обнаруживал в своих логах запросы с Яндекса, - в рефах - porno-related. Это они на авто генерацию проверяют. Матюгался он старшно по этому поводу)
темную сторону силы постигаю
