- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Т.е. полагаю, что это не касается вопросика в конце урла. Посему они могут посчитать такой урл не запрещенным.
Ты заблуждаешься. Прочитай зачем вообще нужен знак бакса.
/*?
/почему-я-не-хочу-думать?
* == почему-я-не-хочу-думать
Где противоречие?
ЗЫ Это как бы азы. Ладно бы пбасалаев такие вопросы задавал бы.
Прочитай зачем вообще нужен знак бакса.
Ну, насколько помню для отмены правил, назначенных звездочкой. Так-то оно так, только если выбирать между версией "гугл игнорит user-agent *" и "гугл по-своему трактует вопросик на конце", то я пока склоняюсь ко второму варианту. :)
Ну, насколько помню для отмены правил, назначенных звездочкой
А так Allow: /bla/$ не будет работать что ли? Где ты, звёздочка, ау-у-у! :D
гугл по-своему трактует вопросик на конце
Он никак не трактует вопросик на конце по-своему. Так же трактует как и все остальные.
Сто раз уже разжевывалось))
Гугл не индексирует страницы, запрещенные в роботсе, но может включать урлы запрещенных страниц в индекс (вероятно чтобы по тексту в урле искать).
Где-то гуглойды объясняли почему они так делают(лениво искать) и как закрывать такие урлы. (Через meta name="robots" content="noindex" вроде)
Вообще, бред.
Индексирует закрытые урлы, типа sexpornoshop.ru\?заказ_совершен&tel-клиента=999-99-99
---------- Добавлено 28.04.2012 в 17:34 ----------
Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project (www.dmoz.org), могут появиться в результатах поиска Google.
...
Чтобы полностью исключить вероятность появления контента страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex или x-robots-tag. По мере сканирования страниц, робот Googlebot обнаружит метатег noindex и не станет отображать страницу в индексе. HTTP-заголовок x-robots-tag рекомендуется использовать, чтобы исключить из индекса файлы, формат которых отличается от HTML (например, изображения или другие типы документов).
P.S. Иногда гугл правда, полностью индексирует страницы, запрещенные в robots. :)
О, кстати, в яндексе ушли уже в 404, а еще 5 минут назад ссылки открывались.
часть открывается :)
придётся на страницы прописывать
header("HTTP/1.0 404 Not Found");
?>
как по мне игнорит и секцию googlebot
единственно, что в моем случае он сначала проиндексировал станицы, а потом я прописал правило
http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=93708
http://www.google.ru/search?q=site:www.yandex.ru/yandsearch&num=100&hl=ru&newwindow=1&client=firefox&rls=org.mozilla:ru:official&prmd=imvns&filter=0&biw=1600&bih=665
:)
при наличии записи
Disallow: /yandsearch
Сохраненная копия отсутствует.
Был же когда-то базар: В выдаче != в индексе
По ссылке всякое бывает
/ru/forum/comment/7388150
богоносец, ага. Тоесть, получается, если закрыть страницу в robots, то гугл не сможет добраться до content="noindex" и убрать урл из результатов поиска.
Тогда решение - не закрывать такие урлы в robots, а закрывать их только через метатэги.
sni, добавил 404 ответ на страницы, посмотрим уберёт ли
http://www.bertal.ru/index.php?url=http%3A%2F%2Fwww.allave.ru%2Ftser.html%3Ftext%3D%F2%FB%2520%EF%EE%EC%ED%E8%F8%FC%2520%F1%E2%EE%E9%2520%EF%E5%F0%E2%FB%E9%2520%EF%EE%F6%E5%EB%F3%E9%3F&ar=418190#h
http://www.allave.ru/tser.html?text=убийца+индекса+404
у меня тоже игнорит User-Agent: *
уже 112 000 страниц, каждый день добавляет тыщь 5
а всего около 500 страниц,
щас прописал ему отдельного User-agent: Googlebot