Да, такое - обычное явление. У меня так было на двух ГСах: когда динамически генерированные УРЛы превысили по количеству 40 тысяч, последовал бан. После бана еще долгое время эти УРЛы виднелись в ВМТ.
Одним из первых инструментов поиска в интернете (до Всемирной паутины) был Archie.
Первой поисковой системой для Всемирной паутины был «Wandex», уже не существующий индекс, который создавал «World Wide Web Wanderer» — бот, разработанный Мэтью Грэем (англ. Matthew Gray) из Массачусетского технологического института в 1993. Также в 1993 году появилась поисковая система «Aliweb», работающая до сих пор. Первой полнотекстовой (т. н. «crawler-based», то есть индексирующей ресурсы при помощи робота) поисковой системой стала «WebCrawler», запущенная в 1994. В отличие от своих предшественников, она позволяла пользователям искать по любым ключевым словам на любой веб-странице — с тех пор это стало стандартом во всех основных поисковых системах. Кроме того, это был первый поисковик, о котором было известно в широких кругах. В 1994 был запущен «Lycos», разработанный в университете Карнеги Мелона.
Вскоре появилось множество других конкурирующих поисковых машин, таких как «Excite», «Infoseek», «Inktomi», «Northern Light» и «AltaVista». В некотором смысле они конкурировали с популярными интернет-каталогами, такими, как «Yahoo!». Позже каталоги соединились или добавили к себе поисковые машины, чтобы увеличить функциональность. В 1996 году русскоязычным пользователям интернета стало доступно морфологическое расширение к поисковой машине Altavista и оригинальные российские поисковые машины «Рамблер» и «Апорт». 23 сентября 1997 была открыта поисковая машина Яндекс.
(Из Википедии)
Поисковая система Google была создана в качестве учебного проекта студентов Стэнфордского университета Ларри Пейджа и Сергея Брина. Они в 1996 году работали над поисковой системой BackRub, а в 1998 году на её основе создали новую поисковую систему Google. Хотя корпорация была основана 2 сентября 1998 года, а домен Google.com зарегистрирован 15 сентября 1997 года, поисковик (с 2000 года) иногда отмечает свой день рождения и в другой день: как 7, так и 27 сентября.
Название Google произошло от намеренно искажённого Сергеем Брином слова Гугол (Googol), которое означает «десять в сотой степени».
(оттуда же)
На самом деле восрос не так уж и прост.
Задумайтесь: чем Гугол (или Яндекс) отличается от сайта Васи Пупкина, который ВОРУЕТ контент с других сайтов, и на том пытается заработать? А ничем. Сайт Васи Пупкина также можно обозвать "глобальной поисковой системой Солнечной Галактики", и на том основании тырить контент у других.
Разве не так?
А все эти публичные оферты и политики... Васе не трудно опубликовать на своем сайте заявление, что если вы не хотите, чтобы я крал у вас содержание и затем зарабатывал на нем, поставьте то-то и то-то, а иначе я буду это делать. Собственно, как Гугол это и делает.
Поясню свою мысль: меня как пользователя Гугла сейчас НЕ УСТРАИВАЕТ, что по многим запросам мало разнообразия. Более того, по некоторым запросам на самом деле нельзя найти ничего путного на первых страницах выдачи, поскольку они заняты так называемыми "сильными" сайтами.
Приведу пример: искал квартиру в одном курортном городе, чтобы ее снять на две недели. По соответствующим запросам нашлись мощные тур-сайты - понятно, что это не то, что мне надо. Стал смотреть дальше - и увидел, что в выдаче крайне много страниц именно с этих сайтов, а следом идут совсем уже малорелевантные ресурсы. Я не верю, что в том городе нет ни одного владельца или маклера, который бы выставил в Интернете квартиры для съема. Их нет в выдаче - вернее, где-то, конечно, есть, но я туда не добрался.
Или сайт Кинопоиск... впору говорить о "феномене Кинопоиска", когда практически по всем запросам из моей ниши я вижу в выдаче этот сайт. А ниша та - ну совсем не про фильмы! Создается впечатление, что в глазах Гугла этот сайт так хорош, что он показывает именно его по всем запросам. А что, у нас мало сайтов про кино? Почему же они так не показываются?
Я уверен, что изменения в выдаче обычные пользователи Гугла тоже заметили. И не думаю, что оценили это высоко.
Может, во мне говорит излишний оптимизм, но мне кажется, что до финального свистка еще далеко. Что имеем сейчас? Гугол объявил войнушку SEO, и ценой больших потерь одержал победу. Да, теперь искусственное продвижение сайтов затруднено (интересно, а бывает ли "естественное продвижение"?), но и выдача такая, что без слез не глянешь. Я не про ГС, якобы "повылазившие"; я про то, что появились сайты-фавориты, их мало, но они захватывают по десятку позиций из первых пятидесяти. И есть "все остальные", которые погибли в этом бою или валяются тяжело ранеными. И вот веб-мастера этих "всех остальных" ломают голову, за что же их так прищемили, а гугловцы с ужасом озирают поле боя, оставшееся за ними, и пытаются осознать, что же они натворили.
Я не верю, что нынешнее состояние поиска устраивает гугловцев. Видимо, они ожидали, что изменения будут действительно небольшими, но получилось вот так. Что-то обязательно должно измениться! Или Гугол объявит о новой концепции поиска - например, что отныне в выдаче будут присутствовать только проверенные и надёжные сайты, или же тихой сапой постараются снивелировать содеянное. Кстати, первый вариант не так уж и маловероятен.
Мне кажется, что идет не минимизация, а ПЕРЕСМОТР подхода к ссылочному. Причем направление вектора мы не понимаем. Казалось бы, если теперь внешние ссылки могут вредить - то самое время создавать новые сайты с сильным контентом, и они сами продвинутся. Однако они замирают на подходе к ТОПу, где кто-то же сидит. Спрашивается: за счет чего же сидит? Видимо, за счет траста. А откуда берется траст? Не только же из возраста домена, но из входящих ссылок.
Далее: если принять за истину то, что теперь плохие входящие ссылки вредят - то, спрашивается, что тогда понимать под "естественными" ссылками? Они же в большинстве своем как раз тянут на категорию плохих.
На самом деле этот совет вовсе не абстрактный! "Посмотреть на свой сайт" непредвзятым взглядом, насколько он соответствует рекомендациям Гугла - это именно то, что большинство веб-мастеров не делают никогда.
Как это сделать практически? Например, оценить контент, который размещается. Или открыть HTML-код страницы и проверить, все ли там нужное, и нет ли мусора? Иои вот так: открыть рекомендации Гугла и пройтись с карандашиком по пунктам: "это у меня есть, это тоже, а вот это не сделано, а это сделано наоборот". И затем исправить, что не так.
К сожалению, не так скоро, поскольку скорость обхода страниц - чтобы Гугол заметил изменения - зависит от параметров. Но не переживайте, вернутся обязательно! Пишите новые страницы, ссылайтесь в них на старые - и все будет нормально.
Бест спиннер не дас из гуд. Ё мал хабрал ин пиндостанский, со кучирава току досай - НЕ УПОТРЕБЛЯЙТЕ ЭТИХ ГОВНОСЛОВ, ЕСЛИ ХОТИТЕ, ЧТОБ ВАС ПОНЯЛИ! Вы можете писать по-русски?
Да, пользоваться в ручном режиме, Сенуки-сан! Или пэить мани стьюдентам за то, чтобы они аппрувили капчу хэндами.
А вам не кажется, что мы говорим о пустом? "Грядет, новый, большой, великий, сверхмогучий, апокалиптический...."
Господа-товарищи, мы СЕЙЧАС обсуждаем откровенный "вброс" - то есть, "где-то что-то слышал, своего мнения не имею, за что купил - за то и продаю". Может, есть смысл оставить ТС наедине со своими мыслями? А то как-то неудобно ему будет, если этот "новый большой" вдруг не произойдет.
Или уже произошел? Склоняюсь к мысли, что Пингвин - это все же алгоритм, а не дискретно накладываемый фильтр.
