этот робот появился совсем на днях, когда я решил удалить из базы Яндекса страницы, все другие посиковики уже давным давно удалили старые страницы, а Яндекс - тормозить уже больше пол года ...
что то так и не нашёл я ответ на свой вопрос, чего роботы яндекса не заходят ...
User-agent: *
Disallow: /index.php?
Disallow: /index.php?menu=cat
Disallow: /index.php?menu=
Disallow: /index.php
Disallow: /?
Disallow: /send.php?
Disallow: /all_mes.php?
Host: freemarket.kiev.ua
вот мой роботс
по логам посмотрел, робот вообще не заходит на сайт ...
так я получается под фильтр попал ?
а за что фильтр?
у меня такая же фигня, есть конечно предположение, что гугль таким образом говорит, что контент не уникальный :(
у меня доска объявлений, там так и есть ... хотя хз, что это значит, другие сайты нормально индексирует, возможно гугль таким образом тормозит сайты с огромным количеством контента...
спасибо - огромное!
а что эти строчки значат ?
но другие скрипты видят 200
что ж делать?
разобрался ... проблема была в том что под винду апач не понимал строку //header("HTTP/1.0 200 OK\n\n");
# Set some options
Options -Indexes
#Options FollowSymLinks
# Customized server error messages:
ErrorDocument 404 /market.php
# Set the default handler to index.php:
DirectoryIndex index.php
# Overload PHP variables:
<IfModule sapi_apache2.c>
# If you are using Apache 2, you have to use <IfModule sapi_apache2.c>
# instead of <IfModule mod_php4.c>.
php_value register_globals 0
php_value track_vars 1
php_value short_open_tag 1
php_value magic_quotes_gpc 0
php_value magic_quotes_runtime 0
php_value magic_quotes_sybase 0
# php_value arg_separator.output "&"
php_value session.cache_expire 200000
php_value session.gc_maxlifetime 200000
php_value session.cookie_lifetime 2000000
php_value session.auto_start 0
php_value session.save_handler files
php_value session.cache_limiter none
php_value allow_call_time_pass_reference On
</IfModule>
<FilesMatch "^[[:alnum:]]*$">
ForceType application/x-httpd-php
</FilesMatch>
-----------
дело а том что под юниксом всё работает, но тестить как то в инете долго, да и контент забивать тоже не сильно практично...
да у меня похоже последний пункт - сайт очень часто в дауне,
гугль валит его только так ... я просто прозреваю от этого поисковика...
