Ну это вы пошутили :) У меня стоит на одном сайте статистика, там разве что цвет трусов посетителя не видно, так точно могу сказать что роботы бегают по закрытым в robots.txt разделам.
Вообще роботс не запрещает загружать страницы, он запрещает их индексировать и выкладывать в поиск, но тем не менее они на сам Яндекс или Гугл загружаются и проходят обработку.
Это как Мэтт Каттс когда-то говорил в видео на счёт своих ботов, что запрещающие атрибуты которые например стоят в ссылках, дают понять роботу что эту ссылку учитывать не надо, но они не запрещают роботу перейти по этой ссылке и найти для себя что-то новое. То же самое и с Яндексом наверняка.
А вот с чего вы думаете бесплатные браузеры живут, например Опера? Вы серьёзно полагаете что у них нет договорённостей с поисковиками по сливу статистики по определённым каналам? Плюс, как писали выше, всякие плагины и тулбары, плюс кнопки поделиться на сайтах и реклама яндекс.директ и с адсенсе от гугла, плюс программы типа punto switcher, плюс ваш браузер тягает за собой реферы и на других сайтах где есть метрика сообщает откуда прибыли (не обязательно переходить по ссылке чтобы потащить за собой реферер). Всё вот это собирает статистику. Попробуйте поставить сайт, и начать наполнять его контентом, но никому о нём не сообщайте, увидите там ботов очень быстро.
Рано или поздно, всё равно кроме Гула никого не будет, этот монстр постепенно сожрёт своих конкурентов - без вариантов.
Alex1979, мы можем тут плеваться ядом в сторону Яши сколько угодно, я сам довольно ощутимо пострадал от этого гадского АГС-40, сломаны планы, и злой на Яндекс неимоверно, но это не изменит положения вещей. Надо искать выходы и лазейки, а пока придётся играть по его правилам, потому что на сегодняшний день мы от него больше зависим, чем он от нас. Если кто-то считает иначе, мол он от нас сильно зависит, то зачем тогда возмущаться, просто забейте на Яшу и дело с концом :)
Пока в инете не будет профсоюзов и антимонопольного комитета, нас будут иметь "большие дяди" как захотят (это я так, образно :D )
Раз пошли аллегории - одно дело рекомендовать друзьям что-то втихую и без посторонних ушей, и другое дело на планёрке при начальстве встать и начать про одежду рассказывать :D
То же самое и здесь - можно с сайта о футболе поставить ссылку на женское бельё без проблем, но при этом закрыть такую ссылку nofollow. Об этом и Гугл и Яша который год уже талдычат, что если куда-то что-то ставите, не забывайте про атрибут nofollow, что он есть на белом свете :)
В блоге Яндекса неоднократно упоминалось, что сами по себе продажные ссылки не имеют ничего плохого и вредоносного для поиска. Но только если они по теме, а не когда, к примеру, с сайта о футболе ссылка ведет на магазин женского белья :)
Так что понятно, что Яндекс и не собирался убивать рынок ссылочных бирж полностью, это действительно для него при желании дело одного дня. Тут скорее всего "генеральная уборка" перед очередным развитием поиска и желание немного приструнить тех, кто пошёл в разнос так сказать. Типа "товарищи, вы ссылками то торгуйте, но не наглейте, смотрите что и где продаёте и на что размещаете ссылки у себя...", как-то так. Это конечно моё субъективное мнение и впечатление от прошедшего "цунами".
Однозначно человек умнее тупой железяки. На нас просто "напали" вероломно и захватили врасплох :D Сейчас надо не спешить развивать что-то ранее созданное или создавать новое, надо пока анализировать и думать))
Интересная мысль, надо будет на конкурентах по-экспериментировать 😂
Вот наконец то и мне ответили спустя 10 дней. Ответ в общем как всегда стандартный (продолжайте развивать сайт, бла-бла-бла и т.д.). Но есть там вот такой абзац
А вот тут самое интересное - сайт молодой и ссылок пока не продаёт. Но на нём размещен код Сапы, давно его туда запихнул для отладки дизайна, так он там и стоит, в Сапе сайт всё равно заявки не принимает.
И вот вопрос. Что же это получается, яша по одному коду наложил фильтр на сайт решив что он торгует в Сапе? И почему Платон мне так ответил? Он же должен был видеть что на сайте кроме рекламы Google Adsense больше никаких реклам или ссылок нет. Или они проверяют на скорую руку, а их робот умеет сканировать даже пустой код Сапы? Им показало что сайт торгует - и до свидания Вася.
Спасибо что подсказали, я на цены несколько дней и не заглядывал, а цены действительно выросли. Пойду и я с калькулятором посижу :)
Да, сейчас действительно ни в чём уверенным нельзя быть. Яндекс на данный момент как обезьяна с гранатой или как баба за рулём, не знаешь что ожидать в следующий момент и от этого грустные мысли в голову приходят, потому что явной логики АГС-40 не просматривается. Доры как были в топе, так там и остались, и ничего им нет, нормальных сайтов покосило не мало, причём даже таких, которые никогда и ничего не продавали на биржах.
