Попробуйте такой трюк - закройте на время сайт в DNS (сервер отдаст при запросе 404 ошибку, что и требуется), и задайте поисковику удалить ваш сайт из базы. Подождите немного (примерно, 3-4 часа), робот сунется на сайт и обнаружит, что сайта нет. После этого (можно отследить по логам сервера) включите сайт в DNS, и через некоторое время (через пару-тройку дней, лучше - через неделю: проверьте по контрольному запросу в поисковике - ка только пропадёт ссылка на ваш сайт) задайте поисковику снова проиндексировать сайт.
У меня такое раньше получалось.
P.S. Для контрольного запроса я обычно беру фрагмент более-менее уникального текста (т.е. когда мала вероятность, что именно в таком сочетании встретятся слова на других сайтах) со страницы своего сайта, не менее 5-8 слов, с минимумом пунктуации - тогда сайт (если он проиндексирован) по этому запрсу на первом (реже на 2-3) месте стоит.
Бывает, проходили :)
Во-первых, такое может произойти для доменов 3-го уровня, если домен 2-го уровня прописан в яндексе, а файл robots.txt явно не блокирует разделы сайта или вообще отсутствует в корне.
Во-вторых, если где-то есть ссылка (например, на форуме - в "Досье" прописана "Домашняя страница" 🚬 ) на этот сайт - яндекс и прочие поисковики (вроде, даже через многоступенчатые цепочки проходят) найдут :D )
Это снова я 😎
Про яндекс ещё интересная штука выяснилась - может, кому сгодится.
Итак... Если вы делаете составной запрос (т.е. "поиск_1" -> "поиск_2 + искать в найденном" -> +... то получится:
http://www.yandex.ru/yandsearch?holdreq=(поиск_1)&&(поиск_2)&text=поиск_n
Спасибо, богатая коллекция 🍻
Кстати, про поводу яндекса:
http://www.yandex.ru/yandpage?q=<id>&p=<# страницы>&ag=h&qs=text%3D<... поисковая строка ...>
Прикол в том, что в этом случае поисковая строка не "%хх%хх%хх", как можно было ожидать, причём 'xx' - 16-ричный код в Win-1251, а примерно так:
http://www.yandex.ru/yandpage?q=11111111&p=2&qs=text%3D%25xx%25xx%25xx
т.е. знак "%" меняется на '%25', но 'xx' - уже непонятно в какой кодировке :(
И заметьте, уже ключевое слово не "text=", а "qs=text%3D"
А попробуйте "ход конём" - если сайт скриптовый (ASP/PHP/Perl etc.), а не статический, и провайдер позволяет - напишите обработку входящего IP (у робота яндекса, например - 213.180.194.177), и отдавайте ему 404 ошибку на страницы, которые не хотите индексировать ;)
Проблема не только в том, какое ключевое слово в каким URL определяет поисковую фразу, но ещё и в том, что непонятно чем и как управляется кодировка - был бы юникод (явно %uXXXX), так всё было бы проще, а то лишь двухбайтовые (по умолчанию - Win-1251), но переключатели кодировки в некоторых местах стоят - например, в гугле (проверено - по ключевым словам "ie=..." и "oe=..."), да и в яндексе зачем-то "цепная" перекодировка встречается.
Смотри, как бы не наоборот ;) 🍻
А если серьёзно - могу, кому надо, скинуть, что сам нарыл по поисковикам...🚬
Посмотрел, спасибо. Но, как я понял (или не там смотрел?😕 ), там не парсится поисковая фраза, а всего-лишь идёт поиск роботов (по URL) в качестве ссылающихся страниц
Ну есть один фокус - правда, реализовать его непросто...
Суть в том, что любая "публикация" (в т.ч. и в интернете) является овеществлением интеллектуальной собственности, поэтому можно попытаться, опубликовав сайт, зарегистрировать нотариально этот факт (я слышал о таких штуках именно в России, правда, с трудом представляю, как именно это реализуеся). Тогда любое воспроизведение ваших материалов без вашего согласия может считаться нарушением прав интеллектуальной собственности.
Попробуйте посмотреть закон "О защите авторских прав" (в т.ч. - http://www.compulenta.ru/2003/4/10/38963/)
Очевидно да - мы проверяли по серверным логам посещения роботов
До недавнего времени проблемы с индексацией динамических страниц были на рамблере, но примерно с февраля-марта этого года их, вроде бы, побороли.
Все (ну, почти все :) )сайты, что наше интернет-агентство делает, динамические - и ничего, прекрасно индексируются. Главное - прописать все нужные мета-теги и грамотно сформировать http-заголовки, тогда всё хорошо проиндексируется.
Кстати, динамические сайты даже дают лучшие показатели индексации - если параметр заголовка Last-Modified формируется непосредственно при открытии страницы HTTP-клиентом (и не важно, браузер это, или робот), то робот чаще станет ходить на сайт для индексации, считая сайт часто обновляющимся.
