- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Отмечу, что обычно файл robots.txt не индексируется просто потому что на него нет ссылок. Если на него будут стоять ссылки - он будет индексироваться.
Отмечу, что обычно файл robots.txt не индексируется просто потому что на него нет ссылок. Если на него будут стоять ссылки - он будет индексироваться.
На первой странице же показали что индексируется, не думаю что на них стоят ссылки. :)
Его содержимое при этом учитывается?.. по проиндексированному.
В сервисах для вебмастеров какие-то уведомления по этому поводу были?
Нет ничего не было и быть не могло. Документ ROBOTS.TXT сугубо для роботов ПС. На счет был ли раньше он в индексе, а после закрытия пропал, я не знаю. Но на 95% моих сайтов все тхт файлы у меня закрыты к индексации.
Отмечу, что обычно файл robots.txt не индексируется просто потому что на него нет ссылок. Если на него будут стоять ссылки - он будет индексироваться.
это легко решается. заходишь на хостинг ставишь напротив роботса галочку. жмешь удалить.
и все😂
Disallow: /sitemap.xml # когда-то пробовал, GWT и ЯВМ стали ругаться на запрет сайтмапа, эксперимент был прекращён.
sitemap.xml не закрывал, а вот robots.txt один раз пришлось закрыть, поскольку гугл начал показывать его в быстрых ссылках и это было совсем некрасиво...
Документ ROBOTS.TXT сугубо для роботов ПС.
Поскольку роботы поиском пользоваться не должны, по inurl:sitemap.xml filetype:xml тоже ничего искаться не должно, а бот щукин вам ещё объяснит, что XML-документы не индексируются и пр. блабла (и в Яндексе сайтмапов почти нет, но это не значит, что вам не соврали). Т.е. по таким простецким вопросам полезнее проводить проверки, чем верить в то, что это сугубо для роботов.