mod_revrite и проблемы связаные с ним

Rayan
На сайте с 30.09.2005
Offline
49
627

При программировании делал все через index.php. Он принимал все параметры, соответственно все ссылки были через него.

Заметил что при таком подходе не все страницы индексируются. Решил использовать mod_revrite. теперь ссылки вида /page1/item1.html.

Сначало гугл проиндексировал сайт без реврайта. Потом добавил я реврайт - проиндексировал новые страницы. Через время заметил что новых страниц проиндексированых уже нет. Кажется это бан. робот видимо видя разные ссылки и одинаковый контент решил что его спамят.

Так ли это? хочу знать мнение людей.

Думаю решить эту проблему так. В роботс.тхт для всех роботов закрыть индекс.рнр, все запросы на индекс.рнр реврайтом напрвлять на индекс.хтмл. Не слишком ли мудрено? И не столкнусь я с очередной проблемой, что не будет вообще ничего индексироваться?

"симфонияки" - symfony forum (http://forum.symfony.org.ua/)
Oniks
На сайте с 22.08.2005
Offline
176
#1

Сложный вопрос. У меня есть на продвижении сайт xxx.ru, страниц на нем около 30000, а гугль показывает 250000. Есть предположение, что он считает www.xxx.ru/... и xxx.ru/... разными страницами. Поскольку сайт ищется, то наличие одинаковых страниц с разными урлами не является причиной бана.

Проблема в том, что нельзя через роботс закрыть какой-то отдельный файл, можно только всю директорию. Кроме того, для робота index.php и index.php?id=xxx это совершенно разные страницы в папке, поэтому подобное решение ничего не даст. Что можно сделать? Самый надежный вариант - удалить старую версию сайта из индекса, а потом вновь подать на индексацию, но тут есть одна проблема - гугль уж очень медленно шевелит одним местом 🙄

Профессиональные услуги фотографа в Москве и области (http://www.oniks-photo.ru/) покупаю стать и ссылки с сайтов про охоту
Rayan
На сайте с 30.09.2005
Offline
49
#2
Oniks:

Самый надежный вариант - удалить старую версию сайта из индекса, а потом вновь подать на индексацию, но тут есть одна проблема - гугль уж очень медленно шевелит одним местом 🙄

Как удалить старую версию?

[Удален]
#3

Удалять целиком - ни в коем случае нельзя. Он действительно _слишком_ медленно шевелит этим местом потом. :)

В принципе - можно в robots.txt запретить /index.php? и скормить это через urlconsole.

Но вообще идея о редиректе - самая здравая. Надо вылавливать запросы к index.php, и давать 301-й редирект на правильный урл. (При этом варианте запрешать index.php? в robots нельзя).

Rayan
На сайте с 30.09.2005
Offline
49
#4
Interitus:

В принципе - можно в robots.txt запретить /index.php? и скормить это через urlconsole.

Но вообще идея о редиректе - самая здравая. Надо вылавливать запросы к index.php, и давать 301-й редирект на правильный урл. (При этом варианте запрешать index.php? в robots нельзя).

незнаю что такое urlconsole

я новичок в этом деле, прошу несудить строго, много чего незнаю.

я пишу в роботс.тхт строчки:

User-agent: *

Disallow: /index.php

в хтацесе пишу такое:

RewriteRule ^index.html$ index.php [L]

будет ли это работать?

[Удален]
#5

Будет. Только внешние ссылки если были на /index.php - они не будут работать для /index.html

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий