- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте.
Помогите кто-нибудь понять, как при прописанной в robots.txt директиве Disallow: *utm_* в индекс Google могли попасть страницы, содержащие параметр utm_ ?
Пример:
http://www.google.ru/search?sourceid=chrome&ie=UTF-8&q=G37utm_source#q=G37utm_source&hl=ru&newwindow=1&prmd=ivns&ei=BSswTtXUBoGdOovv8X4&start=0&sa=N&filter=0&fp=1&biw=1366&bih=643&bav=on.2,or.r_gc.r_pw.&cad=b
Директива совершенно точно была прописана в роботс до того, как указанные выше URL появились в природе.
К тому же в инструментах для вебмастеров при проверке через "Доступ для сканера" урлы определяются как заблокированные через robots.txt. Тем не менее они все равно есть в индексе. Каковы возможные причины?
Заранее спасибо всем, кто ответит.
Друг, это омитеды или так званные сопли, или дополнительный индекс. Как хочешь так и называй. В основном нет, а значит все нормально.
pavlov11188, Матт Кац про роботс
Друг, это омитеды или так званные сопли, или дополнительный индекс. Как хочешь так и называй. В основном нет, а значит все нормально.
Всё, что не можем объяснить, валим на какие-то сопли. :)
__________________Все посетители живые, не боты. (http://livesurf.ru/promo/80271)
Я согласен что сопли это мифичекая фигня (ну или по крайней мере очень сомнительная), потому и дал еще 2 названия этого чуда. Факт остается фактом, что эти результаты называются опущенными и появляются после того как кликнуть "Если вы хотите, можно повторить поиск, включив опущенные результаты".
Я согласен что сопли это мифичекая фигня.
Так же как и дополнительный индекс, в том виде, в котором о нём привыкли говорить.
Факт остается фактом, что эти результаты называются опущенными и появляются после того как кликнуть "Если вы хотите, можно повторить поиск, включив опущенные результаты".
Ни как не могу с вами согласится. Опущенные результаты не имеют прямого отношения к тому, что привыкли называть дополнительным индексом. Если немного изучите выдачу, то убедитесь в этом сами.
Впрочем, можете продолжать придерживаться своей версии. Убеждать кого-то мне нет необходимости.
pavlov11188, Матт Кац про роботс
Спасибо большое.
pavlov11188 добавил 28-07-2011 в 10:54
Друг, это омитеды или так званные сопли, или дополнительный индекс. Как хочешь так и называй. В основном нет, а значит все нормально.
Не совсем понятно: вы имеете в виду то, что в соплях могут появиться URL, которые запрещены в robots.txt?
Появиться в доп результатах и долго там быть.
Можно использовать инструмент Создать файл robots.txt в Инструментах для веб-мастеров, чтобы создать файл robots.txt, и проверить его с помощью инструмента Проверка robots.txt.
Используйте метатег noindex, чтобы содержание не появлялось в наших результатах поиска. При наличии метатега noindex на странице Google исключает всю страницу из наших результатов поиска, даже если на нее ссылаются другие страницы. Если содержание уже присутствует в нашем индексе, оно будет удалено при следующем сканировании. (Чтобы ускорить удаление, используйте инструмент Удалить URL-адреса в Инструментах Google для веб-мастеров.) Другие поисковые системы могут интерпретировать эту команду по-разному. В результате ссылка на эту страницу может появляться в их результатах поиска.
Чтобы увидеть тег noindex, мы должны просканировать вашу страницу, поэтому существует небольшая вероятность, что робот Googlebot не увидит и не отреагирует на метатег noindex (например, если мы не сканировали страницу после добавления этого тега).
А есть например документы.PDF — в них мета-роботс-ноуиндекс не добавишь. Просто ПС нашла внутреннюю сцылку на такой документ.
Не парся и просто поудаляй через ВебМастерс - мороки меньше 🍿
Появиться в доп результатах и долго там быть.
Спасибо за ссылку, теперь все ясно.