А что, кто-то ещё палит свою стату конкурент ставит на серьёзные проекты Li.Ru?
А для Яндекса надо повысить число упоминатий ключа - сверьтесь с дорвеями в выдаче.
А ТС упомянул-таки, правильные исходные данные для решения этой СЕО-задачи.
Ещё 26 мая 2011 отловлены такие боты, лазали с IP 109.207.13.23, 109.207.13.32, 109.207.13.36, 109.207.13.52 и 109.207.13.56, реферер SearchBot.
Все сразу же были забанены за неадекватное поведение на сайте и отсутствие опознавательных признаков.
Феерично. А если поднять глаза в левый верхний угол окна браузера?
Разве что только Бутырский рынок захватить получится, и то не весь.
Ибо на всё есть RFC (стандарты), которым следуют производители Софта(почтовых серверов, прокси, фаерволы, DNS-сервра и тп) пол оразные ОС, и Хардваре(хардварные фильтры типа Cisco Pix, и маршрутизаторы с встроенными фаерволлами и тп.). Не говоря уже о ПС.
Вам придется переделать интернет во всём мире - бабла не хватит. Да и китайцев всё-равно больше, они свои иероглифы первее протолкнут под емайлы.
Эффект редиректа подходит, тк по нему вес и ссылочное переклеится на новые URL_2.
Если просто убрать старые УРЛ, то внешнее сылочное на них потеряется.
Или Вы хотите оставить старые УРЛ в выдаче, и запретить показ URL_2?
А в НКНЧ, особенно в многословных, бывают ньюансы, не укладывающиеся в формулу ранжирования "по пассажам".
Там вообще по конкурентам детально проанализировать не получится, только методом проб и ошибок на собственном опыте.
Редирект с sait.ru/166.html на sait.ru/125.html, или доработка движка, чтобы не плодил дубли.
Snake800 теоретически - всё верно, но на практике - есть ньюансы, в частности, для Google. Ида, ПС клеят сайты не только по 301/302 Редиректу...
Сделайте редиректы в модулях несуществующих страниц. Куда внешняя ссылка ведёт - делаете папку, имя файла.php/.html и в нём - Редирект.
Можно в странице-обработчике ошибок "404 Not found" сделать обработку Редиректов для битых "внешек".
301 редирект - самое оно для этого случая. Отдаёте код 301 и новый адрес - ссылка засчитывается на новую страницу.
При Редиректе, старой страницы в индексе ПС не будет - вы же её текст не отдаёте. Так бы и копии старых сайтов с Редиректами на новый домен в индексе болтались.
Не верите в естественные ссылки?
Распарсите логи на предмет кода ответа 404 - выявите по каким битым ссылкам на Вас реально переходят и с каких сайтов.
Делают так, ПС склеят все битые УРЛ на морду сайта. Имхо - не очень хорошо, тк конкуренты млгут устроить Вам многомордие - поставить 1000 кривых ссылок, потом снять и поставить ещё 1000. И будет у вас в индексе 2000 морд, и если ссылки периодически менять - морды не склеятся.
