- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Не могу понять, что происходит. Захожу в панель вебмастера, вижу в разделе запрещенный урл к индексации. URL, запрещенный файлом robots.txt 26.03.2010
Вбиваю этот урл в поисковик и вижу его в индексе, причем в выдаче по запросу тоже запрещенные урлы. Почему Гугл не торопится их закрывать??
И что делать в таком случае?
Если урлов не сильно много киньте их на удаление в той же панельке вебмастера. 🚬
Захожу в панель вебмастера, вижу в разделе запрещенный урл к индексации. URL, запрещенный файлом robots.txt 26.03.2010
Вбиваю этот урл в поисковик и вижу его в индексе, причем в выдаче по запросу тоже запрещенные урлы. Почему Гугл не торопится их закрывать??
Строго говоря, в robots.txt прописывается не запрет к индексации, а запрет доступа для роботов, что далеко не одно и то же. Хотите запретить именно попадание в индекс — откройте страницы для роботов и пропишите туда noindex. Если страницы уже в индексе, запрос на удаление ускорит процесс.
И что это за раздел "запрещенный урл к индексации"? Насколько я помню, там фигурирует фраза "Заблокирован файлом robots.txt" ("Restricted by robots.txt" в англ. версии).
Строго говоря, в robots.txt прописывается не запрет к индексации, а запрет доступа для роботов, что далеко не одно и то же.
и в чем же разница? :) Вы пробовали добавить в addurl страницу такую? там напишет указанный url запрещен к индексации в robots.txt
и в чем же разница? Вы пробовали добавить в addurl страницу такую? там напишет указанный url запрещен к индексации в robots.txt
Вот, кстати, цитатка из Webmaster Tools Help:
Ну а если страница уже в индексе, то тут блокировать уж точно бесполезно, даже если её совсем удалить (собственно, робот об этом уже и не узнает, ведь ему запретили туда заглядывать). Сколько тут было топиков про непропадающие из индекса удалённые страницы, закрытые в robots.txt?
Кстати, ко второму предложению они забыли добавить, что срок действия запроса на удаление ограничен.
Так оно говорит не залогиненным юзерам:
А так — залогиненным:
Но смысл в целом один и тот же.
Ippi добавил 31.03.2010 в 00:23
А ещё у страниц с noindex, не заблокированных в robots.txt, есть большое преимущество перед заблокированными — они не превращаются в чёрную дыру для PageRank'а, а накапливают и передают его обычным образом, хоть и виртуально отсутсвуют в индексе.
Не могу понять, что происходит. Захожу в панель вебмастера, вижу в разделе запрещенный урл к индексации. URL, запрещенный файлом robots.txt 26.03.2010
Вбиваю этот урл в поисковик и вижу его в индексе, причем в выдаче по запросу тоже запрещенные урлы. Почему Гугл не торопится их закрывать??
И что делать в таком случае?
Была такая проблема.
Суть в том, что Google сначала проиндексировал страницу, а потом вы закрыли ее через роботс. Да, робот туда больше не ходит, но это не повод сразу выбросить страницу из индекса.
Что бы решить проблему нужно вручную удалить адрес из индекса. Если их там не критично много, то это лучший выход из положения.
Строго говоря, в robots.txt прописывается не запрет к индексации, а запрет доступа для роботов, что далеко не одно и то же. Хотите запретить именно попадание в индекс — откройте страницы для роботов и пропишите туда noindex.
Доставили, спасибо 😂
Trean, вы никогда не видели страниц, закрытых в robots.txt, и попавших в индекс в виде одного лишь URL'а? И намёк в инструкции по удалению контента вас тоже ни в чём не убеждает?
А фрагмент интервью вам ни о чём не скажет, или вы из тех, кто считает, что Каттс обычно врёт, чтобы затруднить жизнь оптимизаторам?
Matt Cutts: Now, robots.txt says you are not allowed to crawl a page, and Google therefore does not crawl pages that are forbidden in robots.txt. However, they can accrue PageRank, and they can be returned in our search results.
In the early days, lots of very popular websites didn't want to be crawled at all. For example, eBay and the New York Times did not allow any search engine, or at least not Google to crawl any pages from it. The Library of Congress had various sections that said you are not allowed to crawl with a search engine. And so, when someone came to Google and they typed in eBay, and we haven't crawled eBay, and we couldn't return eBay, we looked kind of suboptimal. So, the compromise that we decided to come up with was, we wouldn't crawl you from robots.txt, but we could return that URL reference that we saw.
Eric Enge: Based on the links from other sites to those pages.
Matt Cutts: Exactly. So, we would return the un-crawled reference to eBay.
Eric Enge: The classic way that shows it you just list the URL, no description, and that would be the entry that you see in the index, right?
Matt Cutts: Exactly.
Ну а то, что удаление страниц по запросу не происходит навсегда, вас тоже не смущает?
Ippi добавил 31.03.2010 в 03:10
Во, можете даже видео посмотреть: Uncrawled URLs in search results.
Спасибо тем, кто отписался. Попробую поставить на удаление. Весь прикол в том, что дома у меня запрещенный урл показывается в выдаче, а в офисе нормальный.
С чем такая фишка может быть связана? Разная выдача для разных провайдеров?
Спасибо тем, кто отписался. Попробую поставить на удаление. Весь прикол в том, что дома у меня запрещенный урл показывается в выдаче, а в офисе нормальный.
С чем такая фишка может быть связана? Разная выдача для разных провайдеров?
Выйдите из акаунта Гугл и почистите кэш браузера ;)
Chikago, сегодня такую же фигню в яндексе наблюдаю. 2000 страниц дублей в индексе :)
В robots.txt нужно добавлять урлы страниц до их появления, тогда они не попадут в индекс. Если уже попали, то нужно время, чтоб они выпали от туда, или принудительно удалить их через панель веб мастера.
Но и то, не факт, что страница запрещённая для индексации не попадёт в индекс. Если на неё много беков, то она может появится в выдаче без сниппетов, а в качестве тайтла может стоять либо текст анкора одного из беков, либо "сайт", либо ещё что-нибудь.
__________________Все посетители живые, не боты. (http://livesurf.ru/promo/80271)