robots.txt

SA
На сайте с 02.02.2002
Offline
92
955

разрабатывается сайт, некоторое количество информации (достаточно большое) появляется в pop-up окнах, вызываются с помощью Java-script. Есть инфа, что роботы не индексируют страницы ссылки на которые под явой. Мне сказали что просто надо написать robots.txt где пригласить робота на эти страницы. Посмотрел спецификацию роботс - там нет таких разрешений. ЧТО ДЕЛАТЬ!!

(как я понял, роботы ходят по ссылкам, а не просто выгружают всю директорю - сервер не позволит)

Sergey Petrenko
На сайте с 23.10.2000
Offline
482
#1

Мне сказали что просто надо написать robots.txt где пригласить робота на эти страницы.

Не поможет. Роботы просто не читают яваскрипт.

Я примерно представляю структуру сайта, совет такой - сделай карту сайта и закинь ее в поисковик.

AiK
На сайте с 27.10.2000
Offline
257
AiK
#2

кроме того robots.txt для запрещения, а не для разрешения.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий