1stGear,
Ну посмотри тогда на PR того же DMOZ-а и прикинь количество ссылок с него.
Нет, теоретически, это уменьшит PR, поскольку те вебмастера, которые не найдут проиндексированных ссылок на свой сайт уберут свои ссылки на твой сайт. А можно и сразу по морде за обман:)
Если ты боишься утекания PR на чужие сайты, то можешь сделать все 1000 ссылок с одной страницы. Тогда каждому сайту придется лишь 1/1000 от PR-а страницы. Но опять же, я бы с таким сайтом ссылками не обменивался.
Cherny,
Странно. У меня не получалось. Правда я пробовал $requests['User-Agent'], чтобы проверить работает ли наверняка.
Впрочем очень хорошую разработку проблемы и ее решения я нашел тут
http://www.webmasterworld.com/forum88/1857.htm
И кое что интересного тут
http://www.manucorp.com/archives/pear-dev/200312/msg00516.php
Interitus,
Это я и сам вижу. Я же не Googlebot-ом страницу смотрю :) Но теоретически он там есть среди них для определенных агентов.
Вот что выдает мне эта функция Accept: */*
Accept-Language: ru,en;q=0.5
Cache-Control: no-cache
Connection: Keep-Alive
Cookie: PHPSESSID=821bc3a786f67e26e849358f1e90e2fa; PHPSESSID=821bc3a786f67e26e849358f1e90e2fa
Host: www.site.com
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
Как их массива выбрать элемент относящийся к If-Modified-Since?
Inoff,
Я качал по этой ссылке http://www.axandra.com/IBP.exe
Если чего надо, а оно тебе будет надо, то поищи сам знаешь где, оно там есть 100 %, ну или накрайняк мне напишешь :)
Да.
По идее можно, потому как она со своего сайта умеет обновления читать. Но я еще не разбирался
Прога. В поисковики добавляет круто. За 10 минут в 100 поисковиках :) А вот с каталогами там полуавтомат. Приходится сильно мучаться. Но тоже неплохо. Вот интересно по количеству директорий есть какие-нибудь сервисы или программы круче этой?
Lupus,
Меня интересует. А вот это из стандартного пакета?
http://support.yourwebhosting.com/kb/display.php?topic=kb_php&qid=1
Да. Видимо именно это я на себе и ощутил. И вполне возможно этот админ наверное работает на десяток хостеров. Больно уж настройка серверов мне показалась одинаковой.
Интересно, это нормально? Вчера посмотрет свои allinurl - 7 страниц. Сегодня смотрю - опять только одна. Это нормально или аномалия?
Cossack,
:) Бот уже второй день не появляется. Сижу и плачу :) Уже пора бы. Ладно наверное завтра придет. А между индексированием страниц и появлением их в результатах поиска кстати прошло 2 дня. Может быть даже чуть меньше. Эх поскорее бы он сожрал весь сайт.
