- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Ситуация следуяющая:
Есть несколько сайтов, закрытых от индексации полностью, в них прописано в robots.txt :
User-Agent: *
Disallow: /
User-Agent: Googlebot
Disallow: /
Сооветственно сайты в ПС вообще не появляется.
Сделал частичный дубль закрытого от индексации сайта, прогнал по соц закладкам. Сайт сперва быстро проиндексировался, гугл съел 30 страниц. Но потом резко выкинул их из индекса, оставив только 1 страницу. Потом в течение 2-х недель сайт немного стал расти, по 1 странице в 2-3 дня, пока не вырос до 6 страниц. И сейчас страницы опять выпали. Осталось 2 страницы.
Повторил эксперимент - таже хрень.
Повторил эксперимент без прогона по соц закладкам, лишь поставил ссылки с других проиндексированных ресурсов - не хочет индексировать, или индексирует очень вяло и выбрасывает страницы.
Собственно вопрос: может гугл и яндекс кэширует страницы, но т.к. в robots.txt прописан disallow он не выдает их в выдачу, но при проверке на уникальность контента, учитывает кэшированные страницы и поэтому выбрасывает не закрытый от индекса дубль?
Не знаю как яшка, но гугл ИМХО кэширует.
Вот и у меня такое ощущение, что гугл кэширует их, потому что обычно на других проектах так выбрасывало страницы только тогда, когда контент был неуникальным.
Недавно заметил, что гугл так же иногда выдаёт страницы, закрытые в роботсе в списке проиндексированных, но без титулов и сниппетов, а просто одни урлы. Типо "чуваки, я знаю об этих страницах, просто в выдаче не показываю"))))
Спасибо, видимо действительно дело в том, что кэширует.
Теперь вопрос остался с Яшей, как с ним дела обстоят?
хз, никогда не возникало подобных сомнений как с гуглей