- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Нейросети Яндекса расшифровали рукописные архивы Московской области
Это 300 000 страниц метрических книг
Оксана Мамчуева
Стоит ли создавать удаленный отдел продаж: опыт IT-компании
Правила взаимодействия и стандарты работы
Захар Бушуев
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Отмечу, что обычно файл robots.txt не индексируется просто потому что на него нет ссылок. Если на него будут стоять ссылки - он будет индексироваться.
Отмечу, что обычно файл robots.txt не индексируется просто потому что на него нет ссылок. Если на него будут стоять ссылки - он будет индексироваться.
На первой странице же показали что индексируется, не думаю что на них стоят ссылки. :)
Его содержимое при этом учитывается?.. по проиндексированному.
В сервисах для вебмастеров какие-то уведомления по этому поводу были?
Нет ничего не было и быть не могло. Документ ROBOTS.TXT сугубо для роботов ПС. На счет был ли раньше он в индексе, а после закрытия пропал, я не знаю. Но на 95% моих сайтов все тхт файлы у меня закрыты к индексации.
Отмечу, что обычно файл robots.txt не индексируется просто потому что на него нет ссылок. Если на него будут стоять ссылки - он будет индексироваться.
это легко решается. заходишь на хостинг ставишь напротив роботса галочку. жмешь удалить.
и все😂
Disallow: /sitemap.xml # когда-то пробовал, GWT и ЯВМ стали ругаться на запрет сайтмапа, эксперимент был прекращён.
sitemap.xml не закрывал, а вот robots.txt один раз пришлось закрыть, поскольку гугл начал показывать его в быстрых ссылках и это было совсем некрасиво...
Документ ROBOTS.TXT сугубо для роботов ПС.
Поскольку роботы поиском пользоваться не должны, по inurl:sitemap.xml filetype:xml тоже ничего искаться не должно, а бот щукин вам ещё объяснит, что XML-документы не индексируются и пр. блабла (и в Яндексе сайтмапов почти нет, но это не значит, что вам не соврали). Т.е. по таким простецким вопросам полезнее проводить проверки, чем верить в то, что это сугубо для роботов.