Ippi

Рейтинг
29
Регистрация
14.09.2009
remorhaz:
Не несите пурги. PR никуда не "утекает" со страницы. PR по определению зависит только от входящих.

Ахахах, а подучите-ка матчасть, особенно про то, как происходит циркуляция/распределение PR по сайту. Ну или хотя бы просто прикиньте, откуда берётся PR у страниц, на которые нет внешних по отношению к сайту ссылок, и куда он потом передаётся, и почему не весь.

Кроме уменьшения притока PR извне могло сказаться и банальное увеличение кол-ва страниц на самом сайте, если таковое имело место.

Ippi добавил 05.04.2010 в 05:04

А, у вас же активный блог... С каждым новым постом входящий PR приходится размазывать по большему кол-ву страниц, даже если в движке ничего не накосячено.

ну, например, из чего попроще:

Backlink Watch

Yahoo! Site Explorer

Open Site Explorer

bizcom,

А мне сейчас показывает PR4 для обеих версий. Возможно, вы просто поторопились во время апа циферки смотреть.

Нормально отнесётся. Гугл рекомендует использовать rel="canonical" тогда, когда нет возможности использовать редирект 301, т.е. метатег — это запасной вариант.

Trean, вы никогда не видели страниц, закрытых в robots.txt, и попавших в индекс в виде одного лишь URL'а? И намёк в инструкции по удалению контента вас тоже ни в чём не убеждает?

А фрагмент интервью вам ни о чём не скажет, или вы из тех, кто считает, что Каттс обычно врёт, чтобы затруднить жизнь оптимизаторам?


Matt Cutts: Now, robots.txt says you are not allowed to crawl a page, and Google therefore does not crawl pages that are forbidden in robots.txt. However, they can accrue PageRank, and they can be returned in our search results.

In the early days, lots of very popular websites didn't want to be crawled at all. For example, eBay and the New York Times did not allow any search engine, or at least not Google to crawl any pages from it. The Library of Congress had various sections that said you are not allowed to crawl with a search engine. And so, when someone came to Google and they typed in eBay, and we haven't crawled eBay, and we couldn't return eBay, we looked kind of suboptimal. So, the compromise that we decided to come up with was, we wouldn't crawl you from robots.txt, but we could return that URL reference that we saw.

Eric Enge: Based on the links from other sites to those pages.

Matt Cutts: Exactly. So, we would return the un-crawled reference to eBay.

Eric Enge: The classic way that shows it you just list the URL, no description, and that would be the entry that you see in the index, right?

Matt Cutts: Exactly.

Ну а то, что удаление страниц по запросу не происходит навсегда, вас тоже не смущает?

Ippi добавил 31.03.2010 в 03:10

Во, можете даже видео посмотреть: Uncrawled URLs in search results.

Alex91:
и в чем же разница? Вы пробовали добавить в addurl страницу такую? там напишет указанный url запрещен к индексации в robots.txt

Вот, кстати, цитатка из Webmaster Tools Help:

Note that in general, even if a URL is disallowed by robots.txt we may still index the page if we find its URL on another site. However, Google won't index the page if it's blocked in robots.txt and there's an active removal request for the page.

Ну а если страница уже в индексе, то тут блокировать уж точно бесполезно, даже если её совсем удалить (собственно, робот об этом уже и не узнает, ведь ему запретили туда заглядывать). Сколько тут было топиков про непропадающие из индекса удалённые страницы, закрытые в robots.txt?

Кстати, ко второму предложению они забыли добавить, что срок действия запроса на удаление ограничен.

Так оно говорит не залогиненным юзерам:

Removals that are processed through this tool are excluded from Google search results for six months

А так — залогиненным:

Successful webpage removal requests will show a status of "Removed" and will be excluded from Google search results for a minimum of 90 days.

Но смысл в целом один и тот же.

Ippi добавил 31.03.2010 в 00:23

А ещё у страниц с noindex, не заблокированных в robots.txt, есть большое преимущество перед заблокированными — они не превращаются в чёрную дыру для PageRank'а, а накапливают и передают его обычным образом, хоть и виртуально отсутсвуют в индексе.

Chikago:
Захожу в панель вебмастера, вижу в разделе запрещенный урл к индексации. URL, запрещенный файлом robots.txt 26.03.2010

Вбиваю этот урл в поисковик и вижу его в индексе, причем в выдаче по запросу тоже запрещенные урлы. Почему Гугл не торопится их закрывать??

Строго говоря, в robots.txt прописывается не запрет к индексации, а запрет доступа для роботов, что далеко не одно и то же. Хотите запретить именно попадание в индекс — откройте страницы для роботов и пропишите туда noindex. Если страницы уже в индексе, запрос на удаление ускорит процесс.

И что это за раздел "запрещенный урл к индексации"? Насколько я помню, там фигурирует фраза "Заблокирован файлом robots.txt" ("Restricted by robots.txt" в англ. версии).

Леха:
просто для правильно склейки

Вам сделают склейку с мусорной корзиной после таких оптимизаций :)

Trean:
Нет, нельзя

Ну почему же нельзя? Добавить RewriteCond с анализом %{HTTP_USER_AGENT}, и ага.

Но таки да, это явный клоакинг с прямой дорогой в бан.

Всего: 318