Не имеет значения чем вы генерируете страницы и каким сервером отдаете. Главное что бы вы делали это правильно. Причина плохой индексации не в платформе ASP. Анализируйте приходы робота по логам сервера, доступность сайта, содержимое сгенерированного кода.
goox, Если на своем компьютере, то например, для Firefox можно установить расширение Web Developer https://addons.mozilla.org/ru/firefox/addon/60 и выбрать Disable/Disable Referrers. Если хотите чтобы реферер не передавался у посетителей вашего сайта (т.е. чужие компьютеры), то никак.
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, true);
$read = curl_exec ($ch);
http://www.phpclub.ru/detail/article/http_request?printVersion=1
Разницы в способе редиректа нет, клиент получит одинаковый заголовок. Почему первое не подойдет, оно будет работать только с index.php?menu=main.
RewriteCond %{QUERY_STRING} ^menu=main$
RewriteRule ^index.php$ http://site.org [R=301,L]
или в index.php
if(!empty($_GET['menu']) && $_GET['menu']=='main')
{
header("HTTP/1.1 301 Moved Permanently");
header("Location: http://site");
}
9000 постов за день это очень много для разбора даже очень простой графической капчи. Может она дает предсказуемые числа? Поменяйте шрифт или алгоритм искажения.
Если я правильно понял, то видимо проблемы с строкой
RewriteRule news news.php [L].
Можно перед ней добавить
RewriteCond %{HTTP_HOST} ^www\.domain\.com - имя сайта с новостями.
Т.е. обрабатывать правило с новостями только для указанного сайта.
Заголовок правильный. В Опере (9.1) тоже все ок. Может у вас в кєше осталась что-то.
Не meta, а заголовок http. Посмотрите, например, здесь pr-cy.ru, введите адрес и в самом низу посмотрите "Ответ сервера". Должно быть Content-Type: text/html
---
AddType text/html .shtml
