Как Яндекс индексирует PHP? Помогите разрешить загадку

12
MT
На сайте с 01.09.2002
Offline
108
#11

Еще раз посмотрел:

telnet anton2ov.spb.ru 80

Trying 217.106.232.14...

Connected to anton2ov.spb.ru.

Escape character is '^]'.

HEAD / HTTP/1.0

HTTP/1.1 200 OK

Server: nginx/0.1.43

Date: Thu, 06 Oct 2005 05:35:19 GMT

Content-Type: text/html; charset=windows-1251

Connection: close

X-Powered-By: PHP/4.3.10

Set-Cookie: PHPSESSID=1e719bb05bcf93c1c684f078bea06d2a; path=/

Expires: Thu, 19 Nov 1981 08:52:00 GMT

Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0

Pragma: no-cache

Vary: accept-charset,user-agent

X-Cache: MISS from life.z8.ru

Хммм, судя по ответу вашего сервера у вас перед Apache ngnix стоит. Но он тоже вполне позволяет изменение URI с помощью регулярных выражений. И вот на всякий случай еще Apache URL Rewriting Guide.

E
На сайте с 05.10.2005
Offline
172
#12

M.TULULU, Я после вчерашних ответов ссылки поменял (на http://anton2ov.spb.ru/poe/main.php?id=77 и т.п.). Может, поэтому стал ОК выдавать?

Marat_Kh, спасибо за ссылку. Очень полезная вещь.

Тут ведь в чем еще дело. У меня есть другой сайт (http://poliglos.info), раскруткой которого я занимаюсь регулярно, хотя и по-любительски. И на нем проиндексировано 25000 страниц Яндексом и не знаю сколько Апортом и Гуглем, несмотря на все ? & и % в УРЛе. Вот я и поразился разнице - почему на одном 25000 страниц проиндексировано, а на другом - всего одна (из 130) за примерно то же время.

А теперь понял - просто на Полиглосе мне не хватило терпения довести псевдостатику до конца, и робот дошел до страниц по окольным ссылкам.

открытая многоязычная словарная база (http://tolmacz.ru)
E
На сайте с 05.10.2005
Offline
172
#13
Marat_Kh:
http://www.be1.ru/stat/?url=http%3A%2F%2Fanton2ov.spb.ru%2Fpoe%2F81.php

HTTP/1.1 404 Not Found

Попробуйте принудительно в скрипте написать
header("HTTP/1.0 200 Ok");

Попробовал на http://poliglos.info/selec/eng.php - вроде сработало. Но в результате появляются индексируемые дубли страниц, потому что одни ссылки ведут на http://poliglos.info/selec/eng.php , а другие - на http://poliglos.info/_selec.php?id=eng

Как это может сказаться на индексировании? Например, если поисковик индексирует из дублей какой-нибудь один - то получается, что лучше в структуре сайта ничего не менять?

Правда, на этих страницах совсем мало текста, а ссылки с них - динамические (с ?), и единственные значимые запросы - "русско-английский словарь" и "англо-русский словарь", по которым сайт все равно наверх не попадет. Но вот другие аналогичные страницы по запросам типа "русско-венгерский" или "русско-зулусский" очень даже могут.

Давид
На сайте с 12.07.2004
Offline
128
#14

espada, а где проблема то с дублями ? проблемы как раз таки и недолжно быть :). Запретите к индексации то что вам не нужно и ждите. Измените ссылки на страницах. Яндыкс со временем все причешет. На форуме такое обсуждалось.

Либо вариант радикальный - запретите к индексации все (robot.txt), удалите сайт в Я. После удаления из базы Я. добавте все по новой в нужном вам виде. Я всвое время так сделал.

MK
На сайте с 18.08.2005
Offline
126
#15
Запретите к индексации то что вам не нужно

или разобрать в скрипте - например, если передана гет-переменная то

или header("HTTP/1.1 404 Not Found")

или

header("HTTP/1.1 301 Moved Permanently");

header("Location: http://poliglos.info/selec/".$id.".php");

С дублями в любом случае надо бороться.

нет
E
На сайте с 05.10.2005
Offline
172
#16

Интересно - Yahoo и A9 псевдостатику типа http://anton2ov.spb.ru/history/99.php индексируют без проблем. У них роботы умнее?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий