- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Заметил в логах, что Google проиндексировал 2 .cgi-страницы (это с форума). При этом вся папка /cgi-bin/ у меня закрыта от индексации. Хмм?
Были мысли даже открыть часть (как раз таки форум), но так как без изврата это в htaccess не сделаешь, она вся была закрыта. Вот и как это понимать, понимаешь?
А внутренность robots.txt дайте поглядеть?
Если логи показали, что бот лазил по закрытым от индексации страницам, то не факт что он их индексировал.
Или как вы определяли что страници проиндексированы?
индексит он запрещённые в роботс страницы... :) и в серп ставит без снипета... а титл формирует из наиболее сильной ссылки на эту страницу...
если хотите избавится от этих страниц, редиректните их 301 куда-нибудь... например на морду... :)
Я обычно вообще паролем закрываю через htaccess. шоб не думалось.
robots.txt так выглядит:
User-agent: *
Disallow: /cgi-bin/ # cgi-bin
Disallow: /css/ # css
Пилот, потому что в логах это был Bot Google, который обычно индексурует страницы (за день, кроме cgi, он индексировал и другие, но уже .html-страницы). Поэтому и решил так.
Balabass, Вы, наверное, правы в том, что он зашел по ссылке (на эти адреса ссылки стоят с посторонних сайтов).
robots.txt так выглядит:
Пилот, потому что в логах это был Bot Google, который обычно индексурует страницы (за день, кроме cgi, он индексировал и другие, но уже .html-страницы). Поэтому и решил так.
Balabass, Вы, наверное, правы в том, что он зашел по ссылке (на эти адреса ссылки стоят с посторонних сайтов).
Все правильно, бот зашел, зашел как правило по ссылке, иначе как бы он узнал об этих страницах, но не факт, что он зятянул эти страници в индекс, просто теперь гуглу известны адреса этих страниц, вот и все. И по запросу site: он будет отображать только лишь адреса этих страниц.