Происхождение копий документов в Интернете может быть различным. Один и тот же документ на одном и том же сервере может отличаться по техническим причинам: быть представлен в разных кодировках и форматах; может содержать переменные вставки – рекламу или текущую дату.
...
Широкий класс документов в вебе активно копируется и редактируется – ленты новостных агентств, документация и юридические документы, прейскуранты магазинов, ответы на часто задаваемые вопросы и т.д. Популярные типы изменений: корректура, реорганизация, ревизия, реферирование, раскрытие темы и т.д. Наконец, публикации могут быть скопированы с нарушением авторских прав и изменены злонамеренно с целью затруднить их обнаружение.
...
Очевидно, что с полными повторами проблем особых нет, достаточно сохранять в индексе контрольную сумму текста и игнорировать все остальные тексты с такой же контрольной суммой. Однако этот метод не работает для выявления хотя бы чуть-чуть измененных документов.
Для решения этой задачи Udi Manber (Уди Манбер) (автор известной программы приближенного прямого поиска agrep) в 1994 году предложил идею [manber1994], а Andrei Broder (Андрей Бродер) в 1997 [broder] придумал название и довел до ума алгоритм «шинглов» (от слова shingles, «черепички, чешуйки»).
AVV, ответ на ваш вопрос: www.bloknotik.ru, www.rupoisk.ru
Не совсем так.
Речь идет о сайте, который не является каталогом сайтов и результаты поиска по сайту ведут на страницы собственного сайта, например, как здесь http://www.aif.ru/search?query=%E3%E0%E7%E5%F2%FB&chapter=
но файл или директория search не закрыты в robots.txt
Так вот, будут ли в этом случае, результаты внутреннего поиска по сайту, открытые для робота, поводом для бана?
А с чего вы взяли, что рамблер и прочие особого трафа не дают?
Вот spylog график статистики по рунету
http://gs.spylog.ru/r/?dayFrom=1&monthFrom=1&yearFrom=2006&dayFor=11&monthFor=8&yearFor=2006<Type=4&radioReportOption=visitors&x=24&y=23&graphCurve0=1&graphCurve1=2&graphCurve2=138&graphCurve3=359&graphCurve4=355&graphCurve5=32&graphCurve6=91&ableSubmit=0&graphCurveNumbers=39&graphCurveCheckedNumbers=7&curvePerGraph=7&order=visitors&desc=1&inner=0&reportId=7&categoryId=1&representationType=graph
или ваш сайт забанен рамблером и гуглем, и это такой своеобразный протест :)
Модератор каталога Яндекса смотрел страницы вашего сайта.
Вам повезло, наверное, сайт скоро добавят в каталог. ;)
Проверьте еще, на всякий случай, есть ли страницы сайта в индексе:
http://webmaster.yandex.ru/check.xml
На частоту индексации внешними факторами влиять невозможно. Не помогут тут и мета теги.
Единственный способ - чаще обновлять сайт.
Например, популярные доски объявлений или новостные сайты, индексируются по нескольку раз в день.
Попробуйте сделать на сайте новые (!!!) страницы и поставить на них внешние ссылки, например, с белых каталогов.
Увидите, что в течение суток робот зайдет.
Надеюсь.
Может кто скажет по своему опыту какое время обычно занимает между приходом индексатора и появлением сайта в поиске.
Робот и поиск, это как бы две разные организации. :) Один занимается одним, второй - другим.
После того, как робот проиндексирует и поиск обработает эти данные, проходит время.
В среднем, одна-две недели.
http://www.yandex.ru/yandsearch?Link=www.site.ru
Ну зачем сразу набрасываться на человека, мол, "магнитные травяные бури" и т.д.
Утечка информации от какого-то сотрудника Яндекса вполне реальна. Тем более, если этот сотрудник чем-то недоволен.
Может быть и деза от самого Яндекса. То есть, нужно воспринимать всё с точностью до наоборот. ☝
Как бы то ни было, это материал для размышления и для анализа.
Происхождение копий документов в Интернете может быть различным. Один и тот же документ на одном и том же сервере может отличаться по техническим причинам: быть представлен в разных кодировках и форматах; может содержать переменные вставки – рекламу или текущую дату.
...
Широкий класс документов в вебе активно копируется и редактируется – ленты новостных агентств, документация и юридические документы, прейскуранты магазинов, ответы на часто задаваемые вопросы и т.д. Популярные типы изменений: корректура, реорганизация, ревизия, реферирование, раскрытие темы и т.д. Наконец, публикации могут быть скопированы с нарушением авторских прав и изменены злонамеренно с целью затруднить их обнаружение.
...
Очевидно, что с полными повторами проблем особых нет, достаточно сохранять в индексе контрольную сумму текста и игнорировать все остальные тексты с такой же контрольной суммой. Однако этот метод не работает для выявления хотя бы чуть-чуть измененных документов.
Для решения этой задачи Udi Manber (Уди Манбер) (автор известной программы приближенного прямого поиска agrep) в 1994 году предложил идею [manber1994], а Andrei Broder (Андрей Бродер) в 1997 [broder] придумал название и довел до ума алгоритм «шинглов» (от слова shingles, «черепички, чешуйки»).
Илья Сегалович (отрывок из статьи)
Алгоритмы определения нечетких дубликатов
/ru/forum/56951