index.php

Serega2711
На сайте с 10.03.2012
Offline
125
827

Может вопрос глупый, но мой сайт например доступный по адресу sait.ru и sait.ru/index.php, но как поисковик находит этот дубль страницы?. Например у меня в страницах сайта не показывает sait.ru/index.php, а только sait.ru это значит поисковик не нашел sait.ru/index.php, или он его просто не показывает, но знает про него?.

Geers
На сайте с 12.04.2011
Offline
487
#1
Serega2711:
Может вопрос глупый, но мой сайт например доступный по адресу sait.ru и sait.ru/index.php, но как поисковик находит этот дубль страницы?. Например у меня в страницах сайта не показывает sait.ru/index.php, а только sait.ru это значит поисковик не нашел sait.ru/index.php, или он его просто не показывает, но знает про него?.

Он знает о нем, просто не показывается, это стандартно, главную страницу показывать как sait.ru. Не стоит заморачиваться.

sear4er
На сайте с 04.03.2010
Offline
756
#2
Geers:
Не стоит заморачиваться

Почему? ) Очень даже стоит ... ТС сделайте редирект, дубль это не есть хорошо ... можно и схватить кое-что ...

Профессиональный SEO аудит с гарантией результата (форум). ( /ru/forum/824674 ) EVOLUTION SEO - Оптимизация, продвижение сайтов, вывод из под фильтров (личный сайт). ( https://evoseo.ru ) Бесплатные SEO консультации. ( https://evoseo.ru/seo-consultaciya/ )
богоносец
На сайте с 30.01.2007
Offline
774
#3
Serega2711:
но как поисковик находит этот дубль

Злые люди поставили на него ссылок...

Ещё могут напакостить

Данные ответа

HTTP/1.1 200 OK

В роботсе надо предусматривать всякие странности

Disallow: //

Disallow: /*!
Disallow: /*?
Disallow: /*//
Disallow: /index
Disallow: /robots.txt

И отдельно обрабатывать

http://213.180.204.11/ Не следует отвечать 302

http://173.194.35.152/ Не следует отвечать 200

Geers
На сайте с 12.04.2011
Offline
487
#4

богоносец, вот это полезно знать. :)

ivan_fok
На сайте с 30.04.2012
Offline
23
#5
богоносец:
Злые люди поставили на него ссылок...
Ещё могут напакостить
Данные ответа
HTTP/1.1 200 OK

В роботсе надо предусматривать всякие странности
Disallow: //

Disallow: /*!
Disallow: /*?
Disallow: /*//
Disallow: /index
Disallow: /robots.txt


И отдельно обрабатывать
http://213.180.204.11/ Не следует отвечать 302
http://173.194.35.152/ Не следует отвечать 200

а зачем прописовать в роботсе? ---> Disallow: /robots.txt

Dwarfik
На сайте с 11.10.2008
Offline
152
#6
богоносец:
Злые люди поставили на него ссылок...
Ещё могут напакостить
Данные ответа
HTTP/1.1 200 OK

В роботсе надо предусматривать всякие странности
Disallow: //

Disallow: /*!
Disallow: /*?
Disallow: /*//
Disallow: /index
Disallow: /robots.txt


И отдельно обрабатывать
http://213.180.204.11/ Не следует отвечать 302
http://173.194.35.152/ Не следует отвечать 200

Боюсь вступать в диспут с профессионалом, но глядя на приведённый выше кусок правил из robots.txt возникает закономерный вопрос:

Вот урл этой темы /ru/forum/comment/10408361

Правило Disallow: /*? на запретит индексацию страницы с этой темой?

В той же любимой мной джумле встречаются ситуации, когда не настроем компонент ЧПУ и материалы выводятся в качестве параметра ?p=

Я к тому, что рекомендации верные, но требуют понимания и подготовки.

6 тип эннеаграммы
Д
На сайте с 01.04.2012
Offline
165
#7

В .htaccess добавить:

RewriteCond %{HTTP_HOST} ^www.site.ru

RewriteRule (.*) http://site.ru$1 [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/

RewriteRule ^index\.html$ http://site.ru [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/

RewriteRule ^index\.php$ http://site.ru [R=301,L]

При переходе www.site.ru будет кидать на site.ru (без www), если этого не нужно, то удалить первые две строки. остальные строки редиректят если перейди site.ru/index.php на site.ru.

богоносец
На сайте с 30.01.2007
Offline
774
#8
ivan_fok:
а зачем прописовать в роботсе? ---> Disallow: /robots.txt

Дабы не индексился.

И почему-то не возникло вопросов по Disallow: /*! # Гугл индексит #!anchor // Да, они сами придумали эту проблему.

Данные запроса

GET ////index.php HTTP/1.1

Host: forum.searchengines.ru

Данные ответа

HTTP/1.1 200 OK

Dwarfik:
урл этой темы /ru/forum/comment/10408361
Правило Disallow: /*? на запретит индексацию страницы с этой темой?

Запретит.

Т.е. Disallow: /*? # только для урлов без параметров (которые показывать ПС и не рекомендуется). Ну вот для этого форума надо придумывать способ запрета индексации всякого говна в параметрах.

Порты вылазиют иногда. В таком виде ссылка была замечена в посте на форуме.

Нет движка или сервака, для которого не надо придумывать костыли. А их создателям кажется, что они делают благое дело, отвечая 200 по

/papka/

/papka

по одному надо ответить 200, по другому 301

(и по другому региСтру /url или /uRl аналогично)

богоносец
На сайте с 30.01.2007
Offline
774
#9

ps Глупость сказал про Disallow: /*!

в хелпе советуют Disallow: /*_escaped_fragment_ # ну такое обращение к серверу. И в кэше так.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий