- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Ситуация такая, есть УРЛы с параметром ?sort=
Такие страницы я успешно закрыл в файле robots.txt
Но они сканировались несмотря на запрет в файле robots.txt и успешно добавлялись в "сопли".
Было принято решение добавить мета-тег: META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Для того, чтобы Googlebot просканировал страницы и увидел запреты (мета-тег), я убрал запрет с файла robots.txt.
В итоге, проверяю через Вебмастер Тулс в "Посмотреть, как Googlebot" и вижу, что он успешно сканирует страницу, игнорируя мета-тег, да еще и есть возможность добавить ее в индекс.
Как поступить в такой ситуации? Обратно закрыть в Роботсе от греха подальше?
Дело было вечером, делать было нечего?
Дело было вечером, делать было нечего?
Что Вы имеете ввиду?
Что Вы имеете ввиду?
Верните обратно. А вообще гугл будет кушать эти страницы, если на них есть ссылки с сайта. Может не будет показывать содержимое их, но кушать будет точно.
Верните обратно. А вообще гугл будет кушать эти страницы, если на них есть ссылки с сайта. Может не будет показывать содержимое их, но кушать будет точно.
Все верно ТС сделал, метатэги как раз уберут из индекса ненужные страницы, нужно только подождать.
Гугль не влючит в индекс страницы с мета тегом noindex, или http заголовком noindex даже если есть внешнии ссылки на эту страницы, в этом и есть основное отличие тегов от robots.txt.
Верно вам подсказывают, только так страницы удаляются из индекса Гугла, в отличие от Яндекса. Ждите.
Ух, хотел создавать похожую тему. Жрет гугл дубли и не давится в отличии от яши, теперь знаю, что делать.
Всем спасибо за ответы. Буду ждать.
Будут новости, буду писать в тему о результатах.
---------- Добавлено 01.12.2014 в 22:52 ----------
Ух, хотел создавать похожую тему. Жрет гугл дубли и не давится в отличии от яши, теперь знаю, что делать.
хавает, потому что вполне возможно, что есть прямые ссылки на "закрытые" страницы в роботсе.
Вот как раз и проверим теперь, сделает ли свое дело мета-тег.
Важное уточнение, откройте эти страницы в robots.txt для индексации. Иначе Гугл никогда не узнает что вы прописали тег NOINDEX.
Важное уточнение, откройте эти страницы в robots.txt для индексации. Иначе Гугл никогда не узнает что вы прописали тег NOINDEX.
Я открыл, конечно.
Всем спасибо за ответы. Буду ждать.
Будут новости, буду писать в тему о результатах.
---------- Добавлено 01.12.2014 в 22:52 ----------
хавает, потому что вполне возможно, что есть прямые ссылки на "закрытые" страницы в роботсе.
Вот как раз и проверим теперь, сделает ли свое дело мета-тег.
Был добавлен тег на нескольких магазинах и открыт роботс. Прошло полгода, а результата ноль. Из индекса ушли только корзина, регистрация и подобные сервисные страницы, пагинация и страницы сортировки остались (внутряка на сортировку нет, теперь сделано через аякс).
Зы: кеш, конечно, меньше чем 6 мес.)