- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброго времени суток! Столкнулась с проблемой. Не хватает понимания и знаниий.
Генерирую карту из 10 000 страниц через A1 Sitemap Generator.
Как исключить из sitemap.xml все страницы, которые не должны индексироваться? Страницы пагинации например...В robots.txt прописан запрет.
Спасибо!
Brazilena, генерировать сайтмап сервисом/софтом, который учитывает Robots.txt при составлении карты сайта.
Быть может и в А1 есть такая есть.
От себя посоветую платный софт по анализу сайта "Website auditor", там есть такая функция.
Вариант номер 2 - парсить все урлы, потом с помощью регулярок удалять то, что попадает под robots.txt - сгенерировать карту сайта из оставшихся урлов.