.htaccess и индексация

12 3
AB
На сайте с 19.09.2003
Offline
4
1842

Вобщем вопрос.

Я решил создать своеобразный поисковичек из результатов альтернативного поисковика. и притом сделать это не с помощью кэширования а с помощь .htaccess

ErrorDocument 404 /script.php

Так вот. Собств - гугль на ура прошел на два раза с переодичностью неделя все страницы - которых реально не было - и ОЧЕНЬ долго в индексе сайт не был.. в периуд денса они буквально за 12-20 часов появлялись.. (судя из статсов скрипта googlestats)

так вот не смотря на то что гугль сьел 404-страницы с результатами поиска, в индексе их до сих пор нет! Но сегодня появилась главная страница. Может ли это означать что остальные страницы появятся посже, либо я ничего дождатся не смогу - и гугль х*й положит на эти страницы?

Без ума от Алисы Милано :idea: Как мне попасть на 151 El Camino Drive Beverly Hills CA 90210
T
На сайте с 14.11.2002
Offline
61
#1
Я решил создать своеобразный поисковичек из результатов альтернативного поисковика. и притом сделать это не с помощью кэширования а с помощь .htaccess

Прочитал три раза, но все равно ничего не понял.

Страницы с 404 кодом ответа НИКОГДА не появяться в базе гугла. То что ты вместо стандартной страницы ошибки 404, выдаешь свою страницу, это не значит что поисковик ее сохранит в свою базу.


ХостТрекер | Мониторниг доступности вебсайтов. (http://host-tracker.com/ru/) Уведомление на e-mail или SMS.
AB
На сайте с 19.09.2003
Offline
4
#2
Как писал temofey


Прочитал три раза, но все равно ничего не понял.


Страницы с 404 кодом ответа НИКОГДА не появяться в базе гугла. То что ты вместо стандартной страницы ошибки 404, выдаешь свою страницу, это не значит что поисковик ее сохранит в свою базу.

Если ты ничего не понял читай документацию по апачу.

Какой смысл было отвечать?

Тебе было бы достаточно посмотреть одной строчки из .htaccess чтобы понять о чем идет речь. Страницы фактически 404 - но поисковик и пользователи благодаря хитрой настройки .htaccess видят именно контент!

AB
На сайте с 19.09.2003
Offline
4
#3

Немного не туда конечно запихал тему надо было в гугль...

Кто тут из модеров.. перенесите плз!

C
На сайте с 19.09.2001
Offline
120
#4
ErrorDocument 404 /script.php

А какие заголовки выдает вышеупомянутый script.php?

Или тоже надо идти читать документацию к Апачу и rfc2616? :)

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
AB
На сайте с 19.09.2003
Offline
4
#5

Вообщем так. я прочел вот эту тему и вот какие вопросы у меня возникли

1. Я хочу сделать правильную подмену для поисковиков со всех сторон. Это значит что дата генерации документа не должна постоянно менятся это неприменно будет заподозренно, но это в принцепи сделать просто!

2. как можно посмотреть заголовок получаемого документа (какие инструменты)

3. Как можно убрать самое главное из заголовка!

X-Powered-By: PHP/4.0.6 кроме php.ini

страницы должны иметь полную идентичность заголовку .html

если кто знает подскажите!

AB
На сайте с 19.09.2003
Offline
4
#6
А какие заголовки выдает вышеупомянутый script.php?
Или тоже надо идти читать документацию к Апачу и rfc2616?

Header("HTTP/1.0 200 OK");

Header("Last-Modified: ".gmdate("D, M d Y H:i:s",filemtime(basename($PHP_SELF)))." GMT");

T
На сайте с 14.11.2002
Offline
61
#7

Если ты мне покажешь где в документации описанно как создать

своеобразный поисковичек из результатов альтернативного поисковика
, то я буду тебе очень признателен.

А до тех пор, почтай сам документацию.

Страницы фактически 404 - но поисковик и пользователи благодаря хитрой настройки .htaccess видят именно контент!

Диктую большими буквами - та строчка которую ты привел говорит апачу ВМЕСТО СТАНДАРТНОЙ СТРАНИЦЫ ОБ ОШИБКЕ ВЫДАВАТЬ УКАЗАННУЮ. Но код ответа сервера этой дерективой НЕ МЕНЯЕТЬСЯ, и поисковик получит 404 код, страницу с таким кодом он в свою базу НЕ ПОЛОЖИТ, потому как поисковик смотрит в первую очередь на ответ сервера, а уже во вторую на содержимое страницы. А вот пользователь действительно увидит, то что ты ему подсовываешь, ибо на код ответа сервера ему наплевать.

AB
На сайте с 19.09.2003
Offline
4
#8

temofey, об этом как раз 30 секунд назад написал выше

Sergey Petrenko
На сайте с 23.10.2000
Offline
482
#9
Тебе было бы достаточно посмотреть одной строчки из .htaccess чтобы понять о чем идет речь. Страницы фактически 404 - но поисковик и пользователи благодаря хитрой настройки .htaccess видят именно контент!

Пользователи - да.

Поисковик - нет. Получив 404, он любую другую страницу воспримет как редирект на custom error page или на индекс - и не пойдет дальше.

Sergey Petrenko
На сайте с 23.10.2000
Offline
482
#10
об этом как раз 30 секунд назад написал выше

Нет, то, что ты выдаешь самим скриптом, поисковик уже не увидит.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий