- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день.
Кто ни будь может подсказать как ведет себя любой поисковый робот при таких условиях:
1. robots.txt
User-agent: *
Disallow:
Disallow: /cgi-bin/
Disallow: /login.html
2. Сайт новый и роботы про него не знают.
Вопрос собственно про следующее..
Роботы входя на сайт, прочитав robots.txt идут на главную страницу и по ссылкам ползают дальше или же посмотрев в файл берут страницы с корня?
Этот файл указание для поисковых роботов что нужно и что не нужно делать. Робот прочитав ваш файл будет кушать всё кроме того, что запрещено в указаниях. Да и зачем пустая инструкция Disallow ?
P.S. ну и читаем FAQ /ru/forum/86666
Santim, Спасибо за разъяснения.
Stripe, должны идти по ссылкам с морды... Исключая папку cgi-bin и файл login.html. Вроде так...
Для более плодотворного "кормления" роботов, сделайте карту сайта. Робот ходит по ссылкам. Если к примеру на страницу googi.html не идет ни одной ссылки, то робот её собственно и не проиндексирует. Ставьте ссылку или укажите роботу, применительно к Я, через аддурлку.
Santim, -EX-, Были сомнения в вопросе куда он пойдет, теперь их нет. Спасибо.