У меня на прошлой неделе аналогично было, пока другой адрес не прописал. Опять черные списки и опять сервер в них попадает.
dimok, я сомневаюсь, что во Львове Рамблер сильно светится по телевизору, я и в Киеве такого не наблюдал. Не говоря уже про рекламу на улицах. Причину здесь все-таки надо искать именно в интернете.
По-моему мнению, например, Рамблер более дружественно относится к украинскому языку, но это всего лишь мое мнение ;)
Если здесь баннер вешать для каждой коллективной встречи в Киеве оптимизаторов с пивом, то наши анфасы тут всем глаза намозолят. :D
Рамблер может делать запрос методом GET к URL, который указан в action тега form, даже если данные формы передаются методом POST.
dmt, некоторые нажимают.
По моим наблюдениям робот D берет страницу только тогда, когда ее нет в базе Яндекса, если же она есть, то просто выдается сообщение, что страница уже известна и т.д.
Робот D, вернее сказать сервис Яндекса по добавлению страниц, который идентифицируется как Yandex/1.01.001 (compatible; Win16; D), по мнению разработчиков не является роботом, которому нужно следовать правилам в robots.txt, поскольку сервис запускается по требованию пользователя, а не автоматически.
Kost, опять же по наблюдениям, страница, которая есть в базе, но запрещена в robots.txt удажяется из базы не тогда, когда робот I читает robots.txt, а когда доходит очередь этой страницы на переиндексацию, что бывает иногда довольно долго, если сайт большой или переиндексируется редко.
yas, никому не запрещено добавлять страницы чужого сайта с помощью формы Яндекса. ;)
Даст на некоторое время:
1. http://www.google.ru/robots.txt - Вторая строка
Disallow: /search
2. http://www.yandex.ru/yandsearch?text=%23url%3D%22www.google.ru*%22&surl=google.ru&pag=u
результаты 6,7,9,10.
Анар, если Ваш index.html статический, то
1. Кодировка выдается веб-сервером, т.е. надо ковырять настройки веб-сервера, они, естественно, будут разные для MS IIS и Apache, более того, разные для Apache 1.3.x, Apache 2.0, так что дать унивесальный рецепт довольно сложно. Для Яндекса вполне хватает <meta http-equiv="Content-Type" content="text/html; charset=windows-1251">, да и для остальных зверей тоже.
2. Дата последнего изменения документа для статических файлов выдается веб-сервером автоматом. В Вашем случае, скорее всего, сервер настроен для обработки файлов html, как SSI, либо еще чего-нибудь скриптового, в этом случае сервер дату по умолчанию не выдает.
Только не забывайте, что простая выдача даты последнего изменения мало что дает, нужна еще обработка заголовка If-Modified-Since, так что на отсутсвие даты последнего изменения можно тоже не обращать особого внимания. ;)
Про свой сервис сами сотрудники Яндекса говорили, что он устарел и давно пора его переписать, да, видать, руки не доходят.
Yandex/1.01.001 (compatible; Win16; I)
