- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Смотрю как бот индексит страницы - душа радуется, но дело в том что он смотрит страницы на которых в основном стоит
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
и только 4 часть сайта разрешена к индексации.
так вот хватит ли у него сил пройти весь сайт и забрать нужные страницы скачивая все подряд?
может лучше стоило ссылки на эти страницы поместить в тег <noindex>?
что бы робот не качал в пустую ненужные ему страницы. или он все равно пройдет по всему сайту, вне зависимости от этого тега?
Это "поможет" только для Рамблера и Яндекса. Остальные роботы его не знают.
kBace4ka, а почему бы не использовать в данном случае robots.txt?
kBace4ka, а почему бы не использовать в данном случае robots.txt?
а потому что страниц, которые не нужно индексировать порядка 2-4 тысяч, что бы их перечислять и нет возможности вынести их в отдельный каталог. а по маске, к сожалению, в robots.txt запретить индексацию нельзя.