Файл robot и главная страница

12
Warhammer
На сайте с 05.12.2011
Offline
42
911

Доброго времени суток всем. Начал работу по подготовке ресурса к подъему ссылок по уровню вложенности и столкнулся с проблемой: на главной страницы форума IPB 3.2.3 внутренних ссылок аж 200 штук. Общий файл robot.txt составил, но вот перекрыть данные ссылки от поисковых ботов не получилось. Подскажите, что можно прописать, что все эти ссылки скрыть от бота Яндекса.

Tell me what you want...
albion
На сайте с 07.10.2005
Offline
247
#1
Warhammer:
robot.txt

robots.txt

Warhammer:
Подскажите, что можно прописать, что все эти ссылки скрыть от бота Яндекса.

robots.txt ссылки не закрывает. Он запрещает индексировать определенные страницы

Почитайте http://help.yandex.ru/webmaster/?id=996567, либо приведите пример страниц, которые хотите запретить к индексации.

[Удален]
#2
внутренних ссылок аж 200 штук

И что? Чем они мешают?

Warhammer
На сайте с 05.12.2011
Offline
42
#3
И что? Чем они мешают?

На внешней странице они создают некий порог ограничений для моей работы. То есть мне нужно на морде разместить около 400 внутренних ссылок, но других, с целью поднятия уровня страниц, однако эти 200 ссылок создают ограничение. Скажем так, тут на этот вопрос вам поможет ответить знание ограничений некоторых бирж ссылок и т.п.

---------- Добавлено 15.08.2012 в 15:30 ----------

albion:
robots.txt

Да. ошибся.

albion:
Он запрещает индексировать определенные страницы

Почитайте http://help.yandex.ru/webmaster/?id=996567, либо приведите пример страниц, которые хотите запретить к индексации.

Не только страницы, но и конкретные элементы страниц. Меня интересует исключительно главная страница форума IPB 3.2.3. не знаю, можно ли выкладывать тут линки, но укажу под спойлером:

[SPOILER]http://respiel.net/[/SPOILER]

albion
На сайте с 07.10.2005
Offline
247
#4
Warhammer:
Не только страницы, но и конкретные элементы страниц.

Об этом поподробнее можно?

Warhammer:
Меня интересует исключительно главная страница форума IPB 3.2.3. не знаю, можно ли выкладывать тут линки, но укажу под спойлером:
[SPOILER]http://respiel.net/[/SPOILER]

И судя по беглому просмотру (надо более детально смотреть, возможно последняя строка в роботс будет неправильной), я бы в роботс добавил:

User-Agent: *

Disallow:/index.php/user/

Disallow:/*?

Warhammer
На сайте с 05.12.2011
Offline
42
#5
albion:
Об этом поподробнее можно?

Если загнать этот же форум допустим в системы сбора полезной статистики (к примеру, су-pr), анализ главной страницы, то станет ясно, что даже на первой странице около двух сот ссылок, многие из которых - это по сути дела подфорумы, разделы, профили, различные элементы статистики, хуки и т.п. Естественно, все это отключить возможности нет, поэтому и пытаюсь выяснить, как через робот отключить их индексацию, чтобы он видел лишь то, что нужно мне. А меня интересует лишь подфорумы, и ссылки верхнего главного меню, а остальные 150 нужно убрать!

albion
На сайте с 07.10.2005
Offline
247
#6

Warhammer, http://help.yandex.ru/webmaster/?id=1111858 читайте, особенно обратите внимание на <noindex>

se_ost
На сайте с 08.08.2011
Offline
53
#7

Используйте такую конструкцию <!--noindex--><a rel="nofollow" href="ссылка">ссылка</a><!--/noindex--> и все будет ОК.

когда релиз (https://when-release.ru)
Turon
На сайте с 11.09.2011
Offline
53
#8
se_ost:
Используйте такую конструкцию <!--noindex--><a rel="nofollow" href="ссылка">ссылка</a><!--/noindex--> и все будет ОК.

Ага... И тратьте ссылочный вес страницы сайта впустую...

Warhammer
На сайте с 05.12.2011
Offline
42
#9
Используйте такую конструкцию <!--noindex--><a rel="nofollow" href="ссылка">ссылка</a><!--/noindex--> и все будет ОК.

Эта конструкция мне, как разбирающемуся человеку в html, естественно известна, но вы не учитываете, что большая часть системных ссылок находится в кодах, которые сами по себе этих ссылок не содержат, тем более

Ага... И тратьте ссылочный вес страницы сайта впустую...

тоже верно подмечено, поэтому грамотное составление файла роботс будет для меня ключевым.

se_ost
На сайте с 08.08.2011
Offline
53
#10
Warhammer:
Эта конструкция мне, как разбирающемуся человеку в html, естественно известна, но вы не учитываете, что большая часть системных ссылок находится в кодах, которые сами по себе этих ссылок не содержат

подучите php, лезьте в коды)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий