- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте, есть сайт на поддомене, закрытый от индексации в robots.txt
User-agent: *
Disallow: /
а также закрытый для всех в .htacess
Order deny,allow
deny from all
Allow from (тут несколько своих IP)
Кроме этого в robots.txt также закрыт и основной домен. Но сайт все равно в полном объеме проиндексировался гуглом. Это нормально? Как его удалить из индекса? Неделю назад попробовал добавить адреса Инструменты для веб-мастеров -> Удалить URL-адреса, но до сих пор ничего не удалилось.
Кроме этого в robots.txt также закрыт и основной домен. Но сайт все равно в полном объеме проиндексировался гуглом. Это нормально? Как его удалить из индекса? Неделю назад попробовал добавить адреса Инструменты для веб-мастеров -> Удалить URL-адреса, но до сих пор ничего не удалилось.
В выдаче страницы с флагом о запрете индексации или нет?
По форуму, пробовали искать ответ на вопрос? 100500 раз уже писано, что роботс не управляет индексом, а только сканированием.
зачем удаляете сайт? Удаление делается не сразу, а через какое-то время. Можете вбить в удаление знак /(слеш) и бот удалит весь сайт. Только сначала хорошо подумайте, он удалит его на 90 дней.
Здравствуйте, есть сайт на поддомене, закрытый от индексации в robots.txt
User-agent: *
Disallow: /
а также закрытый для всех в .htacess
Order deny,allow
deny from all
Allow from (тут несколько своих IP)
Кроме этого в robots.txt также закрыт и основной домен. Но сайт все равно в полном объеме проиндексировался гуглом. Это нормально? Как его удалить из индекса? Неделю назад попробовал добавить адреса Инструменты для веб-мастеров -> Удалить URL-адреса, но до сих пор ничего не удалилось.
для гугла это норма
в большинстве своем он все-таки соблюдает роботс. но если на сайт, даже закрытый, есть ссылки то он туда полезет ни смотря ни на что
В выдаче страницы с флагом о запрете индексации или нет?
Нет ничего такого нету. Обычные страницы.
---------- Добавлено 14.03.2014 в 16:03 ----------
По форуму, пробовали искать ответ на вопрос? 100500 раз уже писано, что роботс не управляет индексом, а только сканированием.
зачем удаляете сайт? Удаление делается не сразу, а через какое-то время. Можете вбить в удаление знак /(слеш) и бот удалит весь сайт. Только сначала хорошо подумайте, он удалит его на 90 дней.
Удаляю т.к. делать в индексе ему нечего. Это сайт для внутреннего пользования с не публичной информацией. Домен используется для почты, и слишком любознательные могут увидеть ненужное. Сейчас сайт уже скрыт за паролем, но часть страниц успела попасть в кэш гугла за те несколько дней, пока доступ был открыт. В целом ничего страшного, что он в индексе, но в идеале хочется, чтобы его там не было.
В общем буду пробовать еще через какое-то время. Но неужели неделя это мало?
Rndom, никаких ссылок на него нету. Честно говоря ума не приложу как гугл его нашел. Разве что в переписке на gmail.
Разве что в переписке на gmail.
вот вам и ответ :)
в следующий раз баньте бота по айпи от греха подальше
для гугла это норма
в большинстве своем он все-таки соблюдает роботс. но если на сайт, даже закрытый, есть ссылки то он туда полезет ни смотря ни на что
Как он может проиндексировать что-то на сайте с запретом через htaccess ? 🤪 deny from all - отдает всем 403 ошибку... Или я что-то путаю?
а также закрытый для всех в .htacess
.htacess у вас или .htaccess ?
В целом ничего страшного, что он в индексе, но в идеале хочется, чтобы его там не было.
- Добавляете указание Noindex для роботов в код страницы и вы спасены )можно конечно вручную убрать урл из индекса - добавив его в панель Гугла, но не думаю что у вас там уж очень секретная информация чтобы ускоренно убирать из кеша )
.htacess у вас или .htaccess ?
.htaccess конечно. Хотя deny в .htaccess возможно уже после индексации прописали, так что этот пункт из моего вопроса можно убрать. Но в robots.txt Disallow было изначально, и я раньше был уверен, что этого достаточно чтобы поисковые боты не индексировали сайт. А сегодня обнаружил его полностью в индексе и был удивлен.
_aleksey_, В вебмастере уже неделю как добавил на удаление, и ничего не изменилось, но пока подожду еще.
Вопрос. А ПС сами удаляют сайты из индекса, если находят в robots.txt рекомендацию Disallow: / ?
Это сайт для внутреннего пользования с не публичной информацией. Домен используется для почты, и слишком любознательные могут увидеть ненужное.
Понял. Тогда все правильно делаете. Закрывайте в роботс, чтобы не сканировал и удаляйте через ВМТ с слешем весь сайт.