Яндекс рассекретил покупателей секс-шопов

R7
На сайте с 30.04.2008
Offline
264
#691

у меня запрещённые в роботсе страницы висят в поиске до месяца, потом исчезают, потом новые вылезают...

SAlex
На сайте с 27.07.2008
Offline
409
#692
SVE:
Если нужная страница закрыта паролем, который не передается явно, то вы хоть 5 баров вместе с метрикой поставьте, содержимого страницы вы не получите.

Кто не получит? Пользователь получит :) на его компе все отображается. А как говорили классики, все что можно увидеть - можно и скопировать.

Ёхан Палыч
На сайте с 07.05.2006
Offline
169
#693
SVE:
Любой черный кравлер, который ложит на роботс поимеет туда доступ. И что, тоже яндекс виноват?

Вы тоже не в курсе как краулеры бороздят большой театр? Так они ходят по сцылкам которых нет.

di_max
На сайте с 27.12.2006
Offline
262
#694
Roman77:
у меня запрещённые в роботсе страницы висят в поиске до месяца, потом исчезают, потом новые вылезают...

Так это еще поверить надо... всмысле роботс на правильность.:)

// Все наши проблемы от нашего не знания...
C
На сайте с 28.01.2010
Offline
70
#695
SVE:

Если нужная страница закрыта паролем, который не передается явно, то вы хоть 5 баров вместе с метрикой поставьте, содержимого страницы вы не получите.

А явно - это как? Что мешает яндекс.бару запоминать POST данные также как и GET и переходить по странице с вводом этих данных?

Это - личная подпись. Здесь обычно ставят ссылки на всякие кривые сайты, надеясь получить "жирный бек".
di_max
На сайте с 27.12.2006
Offline
262
#696
Ёхан Палыч:
Так они ходят по сцылкам которых нет.

За то есть хакерские и скриптидисные словари... сцылок. ;)

M-Borman
На сайте с 12.05.2007
Offline
83
#697
TheGRAM:
Это где они такое сказали?

Ссылка на комментарий

Кто такой пользователь kukutz

Olisher
На сайте с 22.11.2006
Offline
375
#698

Весь мир узнал, что есть robots.txt

K
На сайте с 31.01.2001
Offline
737
#699
Roman77:
у меня запрещённые в роботсе страницы висят в поиске до месяца,

Обычно такое бывает в разделе "для новичков". Напишут во второй строчке

Allow: /

и за ним кучу Disallow, а потом удивляются, почему их Disallow не сработали даже за месяц.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
SE
На сайте с 21.12.2009
Offline
18
SVE
#700
SAlex:
Кто не получит? Пользователь получит :) на его компе все отображается. А как говорили классики, все что можно увидеть - можно и скопировать.

Ну Вы же прекрасно понимаете, что не о пользователях речь.;)

Counselor

Есть факты о том, что бар или метрика сливают данные, кроме урла, или это Ваши домыслы?

Фантазировать можно бесконечно.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий