- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Илон Маск, Стив Возняк и более тысячи других экспертов призывают к мораторию на обучение ИИ
Об этом говорится в открытом письме
Оксана Мамчуева
Стоит ли создавать удаленный отдел продаж: опыт IT-компании
Правила взаимодействия и стандарты работы
Захар Бушуев
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Почему пофиг? Есть случаи, когда закрытые страниц/разделы не выпадают из индекса?
Есть случаи, когда закрытые страницы входят в индекс. Они "на всякий случай" все кушают, особенно Google.
Есть случаи, когда закрытые страницы входят в индекс.
Это уже не случаи, это давно правило для яндексбота. Алгоритм включения в индекс закрытых страниц непонятен.
Robots в индексе и не должен присутствовать (как и xml-сайтмап).
Пробовали сайтмап закрывать?
Естественно Disallow: /robots.txt 🚬
https://www.google.ru/search?q=filetype%3Atxt+inurl%3Arobots.txt%E2%80%8E+%22Disallow%3A+%2Frobots.txt%22
Ниполучаетца http://www.google.com/search?q=site%3Awww.moeglydesign.com%2Frobots.txt+%22Disallow%3A+%2Frobots.txt%22%E2%80%8E
Один аккаунт в процессе обучения задал неординарный вопрос!
Внимание вопрос ☝
Что будет, если robots.txt закрыть в robots.txt?
Его считает ПС и не будет его индексировать.
Что будет, если robots.txt закрыть в robots.txt?
Логика мне подсказывает, что для того, чтобы прочитать эту инструкцию, роботу нужно будет скачать роботс.
индексация robots.txt и выполнение директив robots.txt это как бы разные вещи. гугл считает robots.txt, согласно директиве не будет его индексировать, однако все директивы будет продолжать отрабатывать
---------- Добавлено 22.11.2014 в 02:13 ----------
Ниполучаетца http://www.google.com/search?q=site%...xt%22%E2%80%8E
там какой-то пипец с кодами...
Да, действительно, а в другом примере нет пустых строк между секциями.
Ну тогда можно попробовать.
индексация robots.txt и выполнение директив robots.txt это как бы разные вещи
Теоретически да, но
Disallow: /sitemap.xml # когда-то пробовал, GWT и ЯВМ стали ругаться на запрет сайтмапа, эксперимент был прекращён.
Но на закрытость роботса ругаться наверное не должны, хотя не пробовал.
Один аккаунт в процессе обучения задал неординарный вопрос!
Тоже мне учитель. А ученик молодец, подловил гуру. 😂
Файл robots.txt используется для управления индексированием сайта поисковыми роботами!!!
Один аккаунт в процессе обучения задал неординарный вопрос!
Внимание вопрос ☝
Что будет, если robots.txt закрыть в robots.txt?
Вопрос на вопрос: А зачем? :)
Я на многих сайтах закрываю файлы txt от индексации.
Его содержимое при этом учитывается?.. по проиндексированному.
В сервисах для вебмастеров какие-то уведомления по этому поводу были?