Что лучше — коммунизм или фашизм?
www.bing.com/search?q=bing+search+parameters&first=21
а дальше парсить HTML
А если вы не позаботились о зеркалах, то будет разный результат при попадании в индекс _http://www.example.com/
/ru/forum/920678
Ну и ещё могут искать непродвинутых конкурентов... вот я например не знаю точного названия того переключателя и пр. длины линии, но знаю, что можно поискать по цитате. Например у нормальных электриков жаргон другой, а найти по нему не удаётся почти ничего.
А перед этим надо было пройти курс зомбирования “развивайте улучшайте и со временем”, а не думать о какой-то пагинации. Делайте сайты для людей... вместо наполнения этого и без вас засратого серча.
У меня в памяти застряло: rel=canonical не гарантирует не-нидексации, но может влиять на выбор ботом того дубля, который покажется в выдаче. Дубли-с-т.з.человека боты не отсеивают www.google.ru/search?q=site:www.yandex.ru/m www.yandex.ru/search/?text=site%3Awww.yandex.ru%2Fm поскольку не выполнились чисто технические условия отсева. Вот и не надо играться в костыли с canonical и пагинацией... для человека это можно вообще сделать удобно без пагинации.
Пробовали продавать сцылки с таких страниц, которые индексировать не надо?
А почему не космонавтом?
Понимаете, веб- с ИТ- состарились уже вчера, вслед за мобильной связью.
Ещё физкультуру и умение ходить строем. И быть политически грамотным.
А там когда-то было написано, что это не трафик... а куча таких как вы, проверяющих позиции
http://blog.lexa.ru/2007/12/14/beshenie_seoroboti.html
Ну и напишите себе в тайтлах этого говна.
Так просто в пс дубль не создастся... т.е. мы не видим тех действий, которые пс предпринимает при принятии решения о включении в индекс (там писал про видимость дублей), можно видеть лишь результат, иногда уже-печальный.
Если есть нечто, похожее на дубли www.google.ru/search?q=site:searchengines.guru/index.php пс оберегает от них свои закрома. Иначе просто дорого, это вопрос тупо экономический. Дешевле выкинуть 3% сайтов непредусморительных ВМ, чем обеспечить 100% точность фильтрации.