Роботы ходят отталкиваясь только от собственных правил и расчетов - повлиять на них и ускорить заход на какой-либо сайт могут только владельцы поисковика.
Для полного повторного обхода сайта можно сделать только одно: добиться (запретом в robots.txt) полного удаления сайта из индексов, после чего натравить робота повторно. Т.к. я уже говорил, что роботом управлять практически невозможно, считаю этот путь не самым выгодным (к тому же он довольно долгий по времени).
В некоторых поисковиках (Яндекс, Рамблер) есть специальная форма, через которую можно добавить еще не проиндексированные страницы сайта для ускорения их индексации. Этот путь, ИМХО, более правильный.
А то, что старые страницы в индексах сидят, так это же не плохо - просто надо придумать, как посетителей этих страниц "проводить" на новые... ;)
Разницы абсолютно никакой нет...
Из богатого личного опыта... :D
По моей статистике получается, что робот приходит на индексацию примерно раз в месяц (точнее сказать не могу - вся статистика на работе осталась :p ).
При этом в начале он берет только одну страницу, а все прочие уже только на последующих щагах.
Неужели так сложно поискать в Google?..
http://larbin.sourceforge.net/index-eng.html
Не может. Размер страницы не помеха для индексации.
Если даш URL страницы, можем поглядеть в конкретике.
Хммм... Если не ошибаюсь, можно просто сделать страничку по адресу index.html и все прочие будут получать ее.
Да, по нашему законодательству никакой приватности, возможно, и не нарушается. Но кто сказал, что наше законодательство идеально?
В Вашем примере Вы сами обращаете внимание, что информация по владельцу почтового ящика (та, которую он сам вам сообщил - т.е. не проверенная) выдавалась только определенным фирмам и только после получения определенной формы запроса.
В данном случае на лицо явная возможность любому желающему легко получать информацию о посетителе. Разьве что только не паспортные данные...
Да, есть такое...
Среди запрещающих индексацию подстрок в адресе есть и такие:
".phtml?", ".php?" - это для любителей PHP... :)
Есть очень простое решение которое использую я:
.../script.php/first-param.html?other=params&...
Забыл сказать куда попадают параметры:
first-param -> $_SERVER['PATH_INFO']
other=params -> $_GET[]
Потому, что
a]
Не понял, в чем тут юмор.
Я вижу, что через такую машинку можно отслеживать конкретного человека без явного на то его разрешения. Более того, если человек недостаточно технически подкован - коих большинство, - он не может не только противостоять такому слежению, но и вообще узнать про наличие слежения.
Ничем иным, кроме как нарушением права на частную жизнь я это назвать не могу. Если я не прав, пусть юристы меня поправят...
