Не имеет значения чем вы генерируете страницы и каким сервером отдаете. Главное что бы вы делали это правильно. Причина плохой индексации не в платформе ASP. Анализируйте приходы робота по логам сервера, доступность сайта, содержимое сгенерированного кода.
goox, Если на своем компьютере, то например, для Firefox можно установить расширение Web Developer https://addons.mozilla.org/ru/firefox/addon/60 и выбрать Disable/Disable Referrers. Если хотите чтобы реферер не передавался у посетителей вашего сайта (т.е. чужие компьютеры), то никак.
9000 постов за день это очень много для разбора даже очень простой графической капчи. Может она дает предсказуемые числа? Поменяйте шрифт или алгоритм искажения.
Не meta, а заголовок http. Посмотрите, например, здесь pr-cy.ru, введите адрес и в самом низу посмотрите "Ответ сервера". Должно быть Content-Type: text/html
Не имеет значения чем вы генерируете страницы и каким сервером отдаете. Главное что бы вы делали это правильно. Причина плохой индексации не в платформе ASP. Анализируйте приходы робота по логам сервера, доступность сайта, содержимое сгенерированного кода.
goox, Если на своем компьютере, то например, для Firefox можно установить расширение Web Developer https://addons.mozilla.org/ru/firefox/addon/60 и выбрать Disable/Disable Referrers. Если хотите чтобы реферер не передавался у посетителей вашего сайта (т.е. чужие компьютеры), то никак.
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, true);
$read = curl_exec ($ch);
http://www.phpclub.ru/detail/article/http_request?printVersion=1
Разницы в способе редиректа нет, клиент получит одинаковый заголовок. Почему первое не подойдет, оно будет работать только с index.php?menu=main.
RewriteCond %{QUERY_STRING} ^menu=main$
RewriteRule ^index.php$ http://site.org [R=301,L]
или в index.php
if(!empty($_GET['menu']) && $_GET['menu']=='main')
{
header("HTTP/1.1 301 Moved Permanently");
header("Location: http://site");
}
9000 постов за день это очень много для разбора даже очень простой графической капчи. Может она дает предсказуемые числа? Поменяйте шрифт или алгоритм искажения.
Если я правильно понял, то видимо проблемы с строкой
RewriteRule news news.php [L].
Можно перед ней добавить
RewriteCond %{HTTP_HOST} ^www\.domain\.com - имя сайта с новостями.
Т.е. обрабатывать правило с новостями только для указанного сайта.
Заголовок правильный. В Опере (9.1) тоже все ок. Может у вас в кєше осталась что-то.
Не meta, а заголовок http. Посмотрите, например, здесь pr-cy.ru, введите адрес и в самом низу посмотрите "Ответ сервера". Должно быть Content-Type: text/html
---
AddType text/html .shtml