Вообще НЧ должны быть в ТОП10, а не ТОП100 за счет грамотной внутренней оптимизации + перелинковки (если конечно у сайта хоть какое-то нормальное ссылочное)
Как банально бы не звучало - точное вхождение НЧ в title, h1, в тексте + нормальное ссылочное для ВЧ и даже СЧ.
Если НЧ идет в начале в title это плюс к ранжированию.
Это общий ответ так как постановка задачи не совсем понятна из Вашего вопроса.
Если говорить еще и про ссылки, то можно и так
НЧ далее БЕЗАНКОРНАЯ ССЫЛКА или НЧ входит к текст ссылки, для гугла четко делать так: НЧ далее безанкорная ссылка на страницу
Из опыта. Морда одного проекта по всем ВЧ, НЧ, СЧ стабильно была с момента вывода и в теч. 2 лет ТОП1-ТОП2
Затем разместил гугл аналитикс и разрешил доступ их спецов к данным, которые собирает аналитикс. Через некоторое время получил -50 по однословнику.
Есть 3 версии (хотя сайт был трастовый и PR был 3 и до сих пор есть) нашли клоакинг по h1, пингвин/панда, оценили качество глазами. На сайте был очень хорошие ПФ. 5000 юзеров в день. 20 просмотров на юзера. Загадка до сих пор не раскрыта (хотя попыт окрешить не было из-за ненадобности)
Пардон, это я и имел ввиду. Спасибо за фикс.---------- Добавлено 15.09.2014 в 22:18 ----------
Хотя я вспомрнил, что писал.
Запрет в роботс от сканирования не запрещает гуглботу сканировать. Он все равно шарахается по сайту. Проверно. Он запрещает сканированный документ заносить в индекс (если его еще там нет).
Буквально недавно я запретил в роботс сканировать каталог и часть документов для нового сайта.
Не запретил только индексацию только для уникального контента.
Сайт быстро попал по СЧ, НЧ, ВЧ по ун. контенту в ТОП30. Практически за 2 недели.
Потом я получил -200 по всем позициям.
Посмотрел логи вэб сервера, оказалось, что гуглбот хорошо пошарашался по неуникальному контенту. После того как неуникальный контент был переписан через неделю сайт снова вернулся на позиции, даже с плюсом по всем позициям. Я посмотрел логи - гугл бот не смотря на запрет пошарахался по этим статьям.
ВЫВОД:
запрещая страницу в роботсе для гугла запрещатся индексация отсканированного контета сайта, но никак не сканирование контента.
Делаете обычную страницу типа "Ой, Страница не найдена", при этом вэб сервер возвращает код 404.
Далее, при запросе по всем этим страницам гуглбот получает 404 и эту самую страницу "Ой, Страница не найдена"
Так же, запрещаете индексацию через роботс и желательно noindex в метатегах (чтобы была информация не индексировать такие ссылки).
Я такие вещи делал, но движок был на перле. Т.е. если Вы не хотите удалять ссылки фактически, то поиграть с ботом можно, отдавая ему 404. Но для этого я написал код, которые определяет с вероятностью близкой к 100%, что зашел бот гугла. Три месяца все работало, потом почистилось и все убрал.
Но если не правильно сделать код определения, то можно схлопотать за клоакинг.
Можно конечно подвердить права на домен и ручками, но 50 000 это слишком много.
Если я правилньно понял задачу
У Вас страницы уже в индексе, если Вы действительно хотите их удалить из индекса, нужно делать 404.
Только сделайте, чтобы был обрабочик 404-ой ошибки, т.е. страница с контентом не отдавалась с кодом 404.
Т.е. бот гугла получает 404 и контент о том, что нет такой страницы и это страница одинакова для всех 404-ых.
У Вас в индекс наверное принт версии страниц попали? Если так, то сначала придется их удалить из индекса через 404, а потом, запрет в роботс+noindex на этих страницах в метатегах, после чего уже делать принт-версии страниц и ссылться на них так как они уже запрещены к индексации, то в индекс не полезут, хотя гуглбот будет ходить по ним.
Для того чтобы более менее точно ответить на данный вопрос нужно знать сам протокол метрики и просто перехвать трафик с Вашей машины на метрику.
Но он идет по https и поэтому будет шифрованный, вот сам скрипт, который вызывается при загрузки страницы
И в нем мы нифига не увидим.
Поэтому чтобы не ломать голову, лучше поставить плагин (если таковой имеется для вашего браузера) для гугл-хрома, чтобы тот показал, что было отправлено js'ом в метрику.
Хотя я полагаю, что js просто отсылает ссылку на страницу (скрипт лень глазами смотреть, всегда проще посмотреть что отслыает js)
Если же js ничего такого не отсылает на метрику (кроме ссылки) и ссылок нигде нет на статью, смею предположить, что Вы понравились роботу и он за Вами подглядывает. Пардон, если что.
У гугла много ресурсов и поэтому индексация интернета + изменения в выдачи идут очень быстро.
По одному проекту (за 2 месяца) сайт по ВЧ в уже на 7 месте, в Яндексе все еще по ТОП30 движется.
Если грамотно набирать разнородное ссылочное, то результат будет достаточно быстро. Это при условии правильной внутренней оптимизации.
2 года назад один проект по всем ВЧ, СЧ, НЧ занял ТОП2 за, примерно, 4 месяца. В яндексе же это заняло в 4 раза больше времени.
Отписался на почту.
Если ссылка на страницу постится через твиттер и страница вообще не лезит в индекс или лезит, но не сразу, то имеет смысл посмотреть логи вэб-сервера, чтобы понять зоходит ли быбстроробот на эту и страницу и если заходит, то когда.
Если заходит и страница быстро попадает (или обновляется ее копия) в индекс, то один разговор, если заходит и страница в индексе (или ее обновл.) после апа, то другой, если заходит, а страница не в индексе (или не обновилась) , то третий.
Так же (как вариант) быстробот не ходит на аккаунт твиттера.
В ветке писали, что с постов в одном аккаунта в твиттере, страница с одного сайта попадает, с другого не попадает, поэтому в любом случае лучше сделать выборку из логов и посмотреть глазами все обращения к этой странице.
Пример
grep '/shipping' /var/log/apache2/site.ru-access_log
И еще хорошо посмотреть нет ли записи в журнали ошибок, вдруг быстроробот заходил и получил 500-ку в ответ или еще чего.
grep '/shipping' /var/log/apache2/site.ru-error_log
А вообще дубли, сайт отдает по www и без один контент, ... может повлиять на попадание в индекс (исходя из логики). Поэтому важно понять робот вообще заходит на страницу или нет. И уже от этого плясать.
Я имел ввиду, что до этого с подобным у Вас не сталкивался (постил ссылки на совсем на другие доноры) так как для этих Вы делали так, чтобы название домена перед урлом считалось текстом, а не ссылкой.
Как только сделали, я попробовал запустить постинг (автоматический) и примерно 1% постов было отклонено из-за лимита 140.
Могу прислать файл подготовленный для постов, Вы сможете проверить.
