вроде как уже сошлись на мнении - яндексу незачем учитывать всякие url и link, которые легко может накрутить, кто угодно, когда все базы сапы, ггл и прочих бирж есть в открытом виде.
один глупый человек сказал - остальные тут это повторяют.
если яндекс захочет - он прибьет все продажные сайты в течении суток.
но он этого не хочет - ему надо, чтобы на выдачу перестали влиять только ГС-сайты.
поэтому учитывать проверку индексации ссылок - это полная чушь.
вы всегда верите всему, что написано? надо хоть иногда своей головой то думать.
это может быть первым "звоночком". у меня на одном сайте 3-4 месяца падало количество проиндексированных - сначала в 2 раза, потом в 3 раза меньше, потом то добавлялось немного страниц, то опять убавлялось - но в конечном итоге АГС и 6 страниц в индексе.
и что тут удивительного то? первые АГС накладывались в основном за копипаст, неуник, плохой рерайт, сканы и тому подобную шнягу.
и сайт в индексе яндекса, более 2 миллионов страниц. именно из-за трафика и ПФ.
чисто за копипаст он бы вылетел давным давно.
постов то много, но, видимо, прочитать их вы их не соизволили.
отсутствие трафика и плохие ПФ до АГС-40 яндекс вообще не волновали - уникальный текст на более-менее нормально сделанном сайте и никакие АГС такому сайту не грозили в принципе.
теперь же, отсутствие трафика и плохой ПФ это один из важнейших факторов среди тех сотен, которые учитывает АГС. отсюда и столько пострадавших сайтов, которые вообще никогда и никак не монетизировались. отсутствие трафика, по мнению яндекса, признак того, что сайт сделан под продажу ссылок.
проблема тут только одна - если у тебя нет знаний об оптимизации, то ты просто не доживешь до того момента, когда сайт начнет давать трафик - он раньше уйдет под АГС. этим самым фильтром яндекс за раз убил тысячи и тысячи сайтов начинающих веб-мастеров, которые и слыхом не слыхивали ни о какой сапе и понятия не имеют о том, что их сайты пропали из индекса яндекса.
наказывать сайты заранее это громадная ошибка.
в таком деле просто не может быть 100% точности, я сомневаюсь, что и 50% может быть.
слишком уж много яндексойды позволяют решать алгоритмам.
а чуть подробнее? страниц в индексе, трафик, количество проданных ссылок, тиц?
АГС не выкидывает весь сайт, оставляет некоторые страницы. главную уж точно. поэтому у вас не АГС, а просто глюки вхождения нового сайта в индекс.
вы вообще в курсе, что в конце 90-х сайтов было кот наплакал?
и почти все они участвовали в rambler top 100, собственно - это был чуть ли не единственный источник трафика, помимо закладок.
типичная ситуация - если надо найти что-то в интернете, надо было зайти в топ 100 от рамблера, найти интересующую категорию, а потом вручную ходить на каждый сайт и искать нужную инфу. потому что поиски от рамблера и всяких апортов выдавали полную муть.
собственно, именно поэтому все эти рамблеры и апорты так быстро сдулись, когда яндекс выкатил действительно хороший поиск. и бесконечные поиски по каталогу рамблера забылись как кошмарный сон. урлы сайтов передавали "из уст в уста" не потому, что такие крутые сайты были (кто в здравом уме назовет нынче куличики хорошим сайтом?), а потому что иначе ничего нельзя было найти.
вы топики то о новом АГС читали?
куча сайтов с уником под фильтр улетела.
теперь уник это не гарантия того, что сайт под АГС не попадет.
теперь трафик и ПФ намного важнее.
да вы задолбали уже троллить!
http://help.yandex.ru/webmaster/robot-workings/robot-workings-faq.xml#secret-data-access
http://help.yandex.ru/webmaster/recommendations/indexing.xml
а теперь, в духе ваших тролль-сообщений - дайте мне доказательство, что яндекс не только грузит запрещенные к индексации страницы, но и учитывает их в своих алгоритмах и дает за это АГС. все несколько страниц назад этого топика вы уже категорически утверждали - а теперь пытаетесь съехать с темы!---------- Добавлено 23.11.2013 в 23:33 ----------
и через пару месяцев загруженных документов станет 0.
проверено неоднократно!
в сотый раз повторяю - если вы облажались и дали яндексу скачать запрещенную к индексации информацию, то выплевывать он ее будет долго!
но в конце концов он ее выкинет со своих серверов, даже упоминания о ней в ЯВМ не останется.
это называется - съехать с темы.
больше мне с вами не о чем говорить.---------- Добавлено 23.11.2013 в 23:16 ----------
он это говорил о nofollow ссылках.
robots.txt совсем другое.
впрочем, гугл со спокойной совестью может игнорировать robots.txt - у меня на одной сайте уже 7-й год я не могу выкинуть страницы из индекса. исключаю их через гугл.вебмастер - они на некоторое время исчезают, а потом опять опять влетают в индекс. причем, при поиске гугл и говорит о том, что содержимое исключено из-за ограничений в robots.txt - но при этом все равно держит ссылки в индексе зачем-то.
а про яндекс - неважно куда там ходит яндекс. важно, что учитываться служебные и запрещенные к индексации страницы не могут. это вообще не имеет никакого ни практического, ни теоретического смысла. зачем алгоритмам яндекса учитывать запрещенные к индексации страницы?
у меня вот лично запрещенные в robots.txt страницы в ЯВМ никогда не загружаются, там исключенные это перемещенные и 404 страницы.