Индексация поисковиками при некоторых изменениях в robots.txt

EK
На сайте с 14.08.2006
Offline
0
908

Заинтересовал следующий вопрос: каким образом будет произведена индексация страницы на сайте, если произвести следующие изменения в robots.txt:

User-agent: *

Disallow: /каталог/top2.htm

Disallow: /каталог/bootom.htm

(т.е. выброс из индексации этих файлов)

При индексации поисковиками страницы http://www.сайт.ru/?page=page02

будет учтен контент ТОЛЬКО со страницы page02.htm? Таким образом можно отсечь в результатах поиска ненужное?

Может ли это повредить индексации сайта и отражения результатов на странице поиска, с учетом того, что на главной странице top01.htm дает все ссылки на все необходимые документы?

Ведущая страница сайта index.php которая формирует структуру сайта написана следующим образом:

else if ("$page" === "page02") {

echo "<html><head>

<title>Заголовок 1<title>

";

require "каталог/clock.txt";

echo "</head>";

require "каталог/top02.htm";

require "каталог/page02.htm";

require "каталог/bottom.htm";

}

else {

echo "<html><head>

<title>Главная страница</title>

";

require "каталог/clock.txt";

echo "</head>";

require "каталог/top01.htm";

require "каталог/index.htm";

require "каталог/bottom.htm";

}

romanov
На сайте с 13.01.2005
Offline
145
#1

Вы сначала почитайте как бот индексирует документ в целом (проведите аналогию с обычным браузером)... Потом задайте вопрос еще раз, если он конечно останется ;)

А по составлению роботса:

/ru/news/144

зы. имхо,в топик для новичков вопрос..

зарабатываейте с нами (http://www.seowizard.ru/r.54b8561c00.php)
IrokezV
На сайте с 05.03.2006
Offline
153
#2
Evgeniy K.:
будет учтен контент ТОЛЬКО со страницы page02.htm?

Нет, вы не правы. Читая форум поймете почему.

Вся жилая недвижимость на Avaho.ru ( http://avaho.ru/?utm_source=searchguru )
SK
На сайте с 31.01.2005
Offline
72
#3

В данном случае страница http://www.сайт.ru/?page=page02 учтется полностью. То есть со всеми:

require "каталог/top02.htm";

require "каталог/page02.htm";

require "каталог/bottom.htm";

и так далее, все что еще включается в данную страницу.

На выходе поисковик видит только голый html этой конкретной страницы (?page=page02). И ему неважно из каких источников взята данная информация: открытых или закрытых, внешних или внутренних.

В общем данный контент уже принадлежит этой странице и при отсутствии запрещающих тегов будет индексироваться полностью.

Форум "ПолитДиалог" (http://forum.politdialog.ru/): мы не правые, не левые, не за власть, не против нее. Мы - граждане России, все зависит только от нас! С уважением, Сергей Кротов.
EK
На сайте с 14.08.2006
Offline
0
#4

Да, теперь понятно. Спасибо.

Т.е. самое лучшее что можно сделать что бы запретить индексацию top2.htm - это прописать тэг <noindex> от его начала до конца. Правда, насколько я понял, только Yandex учитывает этот тэг... 😒

P.S. извиняюсь, что не в топ "Для новичков"...

Junior
На сайте с 19.04.2005
Offline
58
#5
Evgeniy K.:
Т.е. самое лучшее что можно сделать что бы запретить индексацию top2.htm - это прописать тэг <noindex> от его начала до конца.

Нет-нет. Самое лучшее для вас - это использовать мета теги на таких страницах.

<meta name="robots" content="noindex, nofollow" />

Удачи! :)

Труженик КП, ТЗ и ИА
SK
На сайте с 31.01.2005
Offline
72
#6

Junior, топикстартеру, я так понял, необходимо проиндексировать часть страницы.

EK
На сайте с 14.08.2006
Offline
0
#7
SerK:
Junior, топикстартеру, я так понял, необходимо проиндексировать часть страницы.

Точно. А если делать как предлагает Junior - не будет вообще индексации, и мне снесут голову 😂

А прописать в top02.htm - мне кажется это вообще не имеет смысла - ведь при загрузке страницы учитываются тэги с index.php

Все же наверное самое лучшее это <noindex>

Junior
На сайте с 19.04.2005
Offline
58
#8
SerK:
Junior, топикстартеру, я так понял, необходимо проиндексировать часть страницы.

Хех, точно. Чуть было не насоветовал плохого 🚬 Спасибо за поправку.

Evgeniy K., а остальные части страницы (top02.htm и bottom.htm) несут самостоятельную информацию? Если я правильно понял, то структура состоит из шапки, контентной части и подвала.

Evgeniy K.:

require "каталог/top02.htm";
require "каталог/page02.htm";
require "каталог/bottom.htm";

Стоит ли тогда оставлять в индексе шапку и подвал?

EK
На сайте с 14.08.2006
Offline
0
#9
Junior:


Evgeniy K., а остальные части страницы (top02.htm и bottom.htm) несут самостоятельную информацию? Если я правильно понял, то структура состоит из шапки, контентной части и подвала.

Ну да: top02.htm - это меню слева + шапка. А bottom.htm - подвал.

При этом на главной странице стоит top01.htm - для того что бы ссылки с нее были проиндексированы.

Junior:

Стоит ли тогда оставлять в индексе шапку и подвал?

Я собственно и добиваюсь выноса из индекса шапки и подвала...

Но страница-то обрабатывается поисковиками как целая, и как отключить обработку части страниц?!. Наверное только через <noindex>

Я тут попробовал это сделать - проанализировал после страницу с помощью http://www.promolab.ru/free/parser.php - был получен результат по словам, указывающий на то, что несмотря на этот тэг, поставленный в шапку и подвал - индекс все равно происходит 😒 Впрочем, это не поисковая система - возможно робот по другому проиндексирует страницу.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий