Поздравляю, Ген!
Всего самого самого!
:)
Мне вот этот текст у них всегда особо нравился :)
Нашли(((
http://twitter.com/#!/lystseva/status/200438575190392832/photo/1
Судя по фото, врезался в вертикальную скалу, выжить там нереально.
А точно не отдавала раньше 200?
Вроде замечал странности давно, что у БДБД, яндекса и других сайтов почему-то делают страницы 404.html с кодом 200. Думал это новое веяние в SEO :)
ImPER@ToR, спросите про идиотизм с запрещенными урлами в выдаче.
Теоретически, Гугл может выдавать в выдаче запрещенные к индексации адреса страниц админок, ссылки с хешем для логина без авторизации, разные служебные урлы, в которых содержится личная информация (имя, сообщение, телефон и т.п.).
Вот эти внутренние урлы с айдишниками сайтов чужих вебмастеров Гугл откуда взял, из публичных источников?
Cамый надежный способ)
Вряд ли поможет. Сохраненок у страниц нет, значит он их не индексирует.
Как сделать чтобы урлов вообще не было в выдаче(а они все вроде только в дополнительных результатах) - другой вопрос.
И надо ли это? Нахождение в выдаче запрещенных и неиндексируемых урлов влияет как-то на ранжирование?
В плане удобства 150 "купить" это как раз нормально. (Посетитель всегда должен иметь возможность купить товар одним кликом. Хоть с карточки, хоть со списка товаров).
Тут просто сам интерфейс плохо сделан. (куда мне жать, если я каждого товара в списке по 10 штук выбрал?).
Чтобы Яндекс не раздражать, ага, можно скрыть текст от него.
богоносец, ага. Тоесть, получается, если закрыть страницу в robots, то гугл не сможет добраться до content="noindex" и убрать урл из результатов поиска.
Тогда решение - не закрывать такие урлы в robots, а закрывать их только через метатэги.
На тайтлы может обратить внимание?
<title>Котлы электрические, электрокотлы - Котлы настенные, отопительные настенные котлы, электрические котлы, электрокотлы, котел Protherm, эван, руснит, ермак,Сантехсклад, интернет-магазин, Санкт-Петербург</title>
<title>Система отопления пола Thermofloor; Теплый пол Stiebel Eltron; Теплые полы, электрический теплый пол в интернет-магазине Сантехсклад, Санкт-Петербург, СПб</title>
Сто раз уже разжевывалось))
Гугл не индексирует страницы, запрещенные в роботсе, но может включать урлы запрещенных страниц в индекс (вероятно чтобы по тексту в урле искать).
Где-то гуглойды объясняли почему они так делают(лениво искать) и как закрывать такие урлы. (Через meta name="robots" content="noindex" вроде)
Вообще, бред.
Индексирует закрытые урлы, типа sexpornoshop.ru\?заказ_совершен&tel-клиента=999-99-99---------- Добавлено 28.04.2012 в 17:34 ----------Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project (www.dmoz.org), могут появиться в результатах поиска Google.
...
Чтобы полностью исключить вероятность появления контента страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex или x-robots-tag. По мере сканирования страниц, робот Googlebot обнаружит метатег noindex и не станет отображать страницу в индексе. HTTP-заголовок x-robots-tag рекомендуется использовать, чтобы исключить из индекса файлы, формат которых отличается от HTML (например, изображения или другие типы документов).
P.S. Иногда гугл правда, полностью индексирует страницы, запрещенные в robots. :)
