Не удается найти, как скрыть от индексации?

DG
На сайте с 08.06.2009
Offline
19
971

Имеется скрипт "Облако тегов с картинками"

Ссылки на картинки индексируются в гугле: http://mysite.com/teg-img/1.jpg

от 1.jpg до 31.jpg

в robots.txt поставил запрет на эту директорию: /teg-img/ все равно появляются.

Вот отрывок самого скрипта, помогите разобраться пожалуйста!

script type="text/javascript" src="http://mysite.com/teg-img/swfobject.js"></script>

<div id="oblapics"> <a href=""> http://mysite.com/teg-img/1.jpg</a> <a href="mysite.com/directory-1">

С Ув. АЛЕКС

Z
На сайте с 23.12.2006
Offline
225
#1

Вот. В тему.

Аналогично: убедились что Google игнорирует запрет на папки в robots.txt - проиндексировал стоящие в запрещённой "/go/" редиректы 301 и выдаёт их в поиске как страницы (не в основном).

Как запретить Гуглу индексировать что-то?! (robots.txt не предлагать - проверено - не работает)

Регистрация на 1 год com/net/org/biz/us по 7.99$, xyz/pw по 1.99$, asia/website/in/*.in/net.in по 2.99$ (http://all.sellout.co.in/) ru 1.39$, рф 1.39$, su 4.99$ - NauNet (http://sellout.su/)
Anamnado
На сайте с 08.02.2010
Offline
242
#2

а что мешает использовать <script type="text/javascript"> document.write( <div id=\"oblapics\">........

?

iren K
На сайте с 28.12.2008
Offline
222
#3
ZAhost:

Как запретить Гуглу индексировать что-то?

для начала по юзер-агенту в .htaccess запретите боту..

а вообче - в то же .htaccess грамотно разрулите правила для конкр. файлов/дир.

c уважением Iren
Z
На сайте с 23.12.2006
Offline
225
#4
Anamnado:
а что мешает использовать <script type="text/javascript"> document.write( <div id=\"oblapics\">........
?

Такое гугл индексирует и по ссылкам проходит.

ZAhost добавил 06.08.2010 в 03:26

iren K:
для начала по юзер-агенту в .htaccess запретите боту..
а вообче - в то же .htaccess грамотно разрулите правила для конкр. файлов/дир.

То есть всё же выхода законного нет - только ловить ботов?

У поисковиков же есть роботы-анонимы, которые ловят клоакинг и разность контента для юзеров и ПС - за отрез ботов сайт санкции не схватит?..

И что значить разрулить? Правила в htaccess как раз и делают редирект 301 из папки "/go/". Там даже нет страниц - просто редиректы, но Гугл их как пустые страницы заиндексировал.

богоносец
На сайте с 30.01.2007
Offline
769
#5

Посмотрите код этой страницы

document.write ("<scr"+"ipt type='text/javascript' src='"+m3_u);

document.write ("'><\/scr"+"ipt>");
</script>

<!-- разбивка на несколько строк аргумента document.write именно запятыми -->
<script type='text/javascript'>
document.write ('<',
'script type="text/javascript" src="http://my',
'site.com/teg-img/swfobject.js"></sc',
'ript><div id="oblapics"> <a href=""> http://my',
'site.com/teg-img/1.jpg</a> <a href="mysite.com/directory-1">');
</script>

Но то, что уже в индексе, хоть и закрыто в роботсе — придётся выкидывать ... как там это называется: запрос на исключение из индекса?..

Z
На сайте с 23.12.2006
Offline
225
#6

Ооо! Запятые!!! :)

Не знал :D

Спасибо - опробуемс ;)

M
На сайте с 27.10.2006
Offline
111
#7
богоносец:
разбивка на несколько строк аргумента document.write именно запятыми

Работает "на ура". Пользуюсь.

богоносец:
Но то, что уже в индексе, хоть и закрыто в роботсе — придётся выкидывать ... как там это называется: запрос на исключение из индекса?..

Самый правильный способ. Есть бросовый сайт, на котором около трех лет назад были изменены URL-ы. Внешних ссылок на старые нет и URL-ы закрыты в robots.txt, но отдают 200 вместо 404. До сих пор (3 года!) висят во вспомогательном.

Бесплатное хранилище данных (http://bit.ly/gJYy9Z) (5GB) с синхронизацией. По ссылке — бонус 500MB.
богоносец
На сайте с 30.01.2007
Offline
769
#8
были изменены URL-ы. Внешних ссылок на старые нет и URL-ы закрыты в robots.txt, но отдают 200 вместо 404.

Остаётся возможность шутки даже в новости попало...

Лучше 404 отдавать.

M
На сайте с 27.10.2006
Offline
111
#9
богоносец:
Остаётся возможность шутки даже в новости попало...

Лучше 404 отдавать.

Сайт — бросовое УГ. Плевать.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий