Евгений Крупченко

Евгений Крупченко
Рейтинг
178
Регистрация
27.09.2003
Интересы
хостинг без тормозов

т.е. чтобы страница попала в индекс мсн'а нужно заполучить/купить хорошие ссылки на нее, верно? чтож, не спорю, логично, и не только для мсн'а.

тогда как объяснить тот факт что в индексе много страниц, на которые нет внешних ссылок вообще! и в тоже время в индексе нет страниц на которые есть эти самые ссылки (и с пр5 в том числе)

попытаюсь объяснить свои подозрения насчет заголовков.

итак, мы имеем на корне домена .htaccess:

AddType application/x-httpd-php .html


RewriteEngine On
RewriteCond %{REQUEST_URI} !^(/free/.*|/free.php|/sitemap.txt|/sitemap.xml|/robots.txt|/resources.html|/otherlinklists.html|/webmasters/.*|/admin/.*|/counter/.*|/counter1/.*|/webmasters-norecip.html|/submit-norecip.html|/confirm.html|/contacts.html|/deletelisted.html|/deletesubmit.html|/editsubmit.html|/login.html|/logoff.html|/profile.html|/profileconfirm.html|/recips.html|/register.html|/retrieve.html|/submit.html|/terms.html|/webmasters.html|/)$
RewriteRule .* pages.php

т.е. все, что не попадает под правило прогоняется через pages.php

который в свою очередь, во-первых, проверяет если зашли без www. то редиректит (301) на этуже страницу с www.

дальше если зашли с www. то проверяет есть ли запрашиваемый файл в папке pages, в которую крон генерирует новые страницы каждый день.

если страница есть такая, то он ее include'ит, а если нет, то инклудит 404.html

и что мы видим. все, что перечислено в условии в .htaccess, есть в индексе! т.е. то, что открывается апачем.

а того, что прогоняется через pages.php нет в индексе. и хотя в pages.php никакие заголовки не меняются, там просто include("pages/$s"), всетаки факт остается фактом, что именно этих страниц нет в индексе.

поэтому я и решил попробовать "отдать" корень (т.е. index.htm) статикой.

залил на корень index.htm и подправил условие в .htaccess

RewriteCond %{REQUEST_URI} !^(/index.htm|/|/free/.*|/free.php|/sitemap.txt|/sitemap.xml|/robots.txt|/resources.html|/otherlinklists.html|/webmasters/.*|/admin/.*|/counter/.*|/counter1/.*|/webmasters-norecip.html|/submit-norecip.html|/confirm.html|/contacts.html|/deletelisted.html|/deletesubmit.html|/editsubmit.html|/login.html|/logoff.html|/profile.html|/profileconfirm.html|/recips.html|/register.html|/retrieve.html|/submit.html|/terms.html|/webmasters.html|/)$

т.е. сделал его наравне с тем же contacts.html и webmasters.html, которые в индексе есть.

теперь нужно подождать пару дней. посмотрим как на это отреагирует мсн.

все, я короче поставил на корне чисто статику.

т.е. все заголовки должен отдавать апач так как надо.

посмотрим что выйдет.

а пока кто еще хочет попытаться разобраться в проблеме, можете брать страницы категорий.

SEManiak:
если я правильно по домену понял вашу тематику, то для вас пуританско-белые методы не подойдут.

ага, значит адалт это плохо, а продажа ссылок хорошо? ну-ну 😂

SEManiak:
покупку РЕЛЕВАНТНЫХ ссылок я считаю белым методом.
если купить 1-3 ссылки с ПР5-7 это очень положительно отразиться на вашем сайте, если они ещё продержуться 2-3 месяца (а не день-неделю) - вы будете приятно удивлены трафиком.

я понимаю, но если бы меня интересовали серые способы раскрутки я бы пошел на другой форум :)

и вообще, причем здесь пр? мы же говорим об мсн! с гуглом этот сайт более-менее дружит какраз.

SEManiak:
к сожалению про заголовки не могу ничего прояснить, так как я в тематике не разбираюсь (и их не читал). главное что бы они были покороче (20-50 символов желательно) и уникальные.

я вам про заголовки в смысле Last-Modifyed и т.п., а не про метатеги.

SEManiak:
тут советовали форум по эдалт тематике как то x-masterworld (вобщем поищите "x-")

master-x.com :)

дело не в тематике. а в мсн'е

я почемуто считал что на этом форуме есть люди, разбирающиеся в SEO независимо от тематики.

ну вот, я наоборот стараюсь чтобы все по-белому было, а вы мне тут советуете ссылок накупить 🙅

тогда уж точно будет бан.

я по-прежнему уверен, что дело не в этом.

скорее что-то с заголовками тех страниц.

попробую на главной вместо php просто статическую страницу повесить на пару дней для теста.

а взять их где? 🙅

ЯшкинКот:
А с contacts.html есть ссылка на главную?

есть

LCD:
и то, что индексить внутрение ссылки он долго может.
а если внешние поставить то быстрее будет.

мы же говорим не о новом сайте! домен зарегистрирован в 2002м году. ссылок хватает.

за последний год ссылок добавилось не мало, а движений в мсн'е никаких.

так что врядли.

webcat:
Правильно - сайт забанен

за что? 😮

как проверить? и что, у мсн бан распространяется на отдельные страницы, а не весь домен? верится с трудом

и что? :)

на тот же contacts.html внешних ссылок нету ни одной и он в индексе

а на корень домена куча ссылок и его нет.

скорей всего не в этом дело.

Как писал mathematician


А зачем тогда ежедневно индексировать? 😕

как зачем?

чтоб если надо было поменять что-то на странице, не пришлось ждать обновления месяц.

Как писал mnt


вот у меня примерно так.

$intgmt=<текущая дата документа на свое усмотрение>;
$headers = getallheaders();
$gmt_source=$headers['If-Modified-Since'];
$intgmt_source=strtotime($gmt_source);
if($gmt_source&&!$show_first_page&&$ps_crawler)
//первую страницу всегда переиндексируем!!!, чтоб забирал новые линки
{
//здесь можно писать лог
//
if($intgmt<=$intgmt_source)
{
//тут тоже
header("HTTP/1.0 304 Not Modified");
exit;
}
}
header("Expires: 0");
header("Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0");
header("Pragma: no-cache");
header("Last-Modified: $gmt");//$gmt преобразованый в gmt $intgmt
header("Content-Type: text/html; charset=windows-1251");

ок, а теперь обо всем по-порядку:

1. на серваке php запускается не как модуль апача и поэтому не пашет функция getallheaders()

можно что-нть придумать, как-нть обойти это?

насколько важно это If-Modified-Since ? если его всеже не обрабатывать, на чем это скажется? причем я не гонюсь за индексацией именно динамики (т.е. урлов вида page.php?var=val&var1=val1), все урлы будут нормальные (типа domain.com/cat/), мне нужно чтоб страница переиндексировалась желательно каждый день, чтобы "проглатывались" линки с этой страницы и чтоб все страницы хорошо индексировались.

2. если я сделаю чтоб Last-Modified было всегда на час меньше, чем сейчас, это нормально будет? в смысле не будет ли это "подозрительно" ? подразумевается что сама страница естественно будет меняться достаточно редко. или может стоит сделать, чтоб размер файла тоже менялся (случайно например) при каждом обращении? в смысле не будет ли подозрительно что дата модификации постоянно меняется, а размер и содержимое файла нет?

3. изза вышеуказанной проблеммы с php, остаются следующие заголовки:

header("Expires: 0");

header("Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0");

header("Pragma: no-cache");

header("Last-Modified: ".gmdate("D, M d Y H:i:s",time()-3600)." GMT");

header("Content-Type: text/html; charset=windows-1251");

нормально так будет?

4. а что если страница полностью или по-большей части на англ. языке? какую тогда кодировку лучше ставить вместо windows-1251 ?

5. что такое header("Expires: 0") ? зачем?

Всего: 622