- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
доброго времени суток.
Я довольно долго привышал лимиты Cpu хостинга, переезжать не имеет смысла так как привышаю не много( не более 0.10%)
есть помощь чтобы уменьшить этот показатель, сделать robots.txt дабы приструнить бродящих роботов.
User-agent: *
Disallow: /
User-agent: Yandex
Crawl-delay: 4
Disallow:
User-agent: Googlebot
Crawl-delay: 4
Disallow:
User-agent: StackRambler
Crawl-delay: 4
Disallow:
но здесь запрещается нормальной работы sape.ru что прописать нужно чтобы заработало?
движок у меня wordpress
Афигенный robots! 😂
Напишите что за движок хотя бы
User-agent: *
Disallow: /
А что у вас в индексе вообще?
А что у вас в индексе вообще?
я не понимаю вопроса. вам сайт показать? могу в личку кинуть.
я не понимаю вопроса. вам сайт показать? могу в личку кинуть.
У вас роботс.тхт полностью запретил индексацию
сайта. вам нужно убрать ограничения для страниц, которые хотите впихнуть в сапу и дождаться индексации яши и только потом добавлять в сапу, а так вам просто не дадут на не проиндексированных страницах продавать ссылки.
но здесь запрещается нормальной работы sape.ru что прописать нужно чтобы заработало?
Для нормальной работы sape.ru данный robots.txt не подходит, так как его робот попадает под правило, описанное в данной секции:
Прописать отдельную секцию для его робота на данный момент невозможно. Так что, увы.
У вас роботс.тхт полностью запретил индексацию сайта.
С чего это Вы взяли? Запрещено всем, кроме Яндекса, Рамблера и Гугла вообще-то. ;)
Ziby, вы уверены что паук будет так интерпретировать записи?
Запрещено всем, кроме Яндекса, Рамблера и Гугла вообще-то.
помогите мне что бы была индефикация движок wopdpess!
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
User-agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Sitemap: ----------
Ziby, вы уверены что паук будет так интерпретировать записи?
neznaika, не был бы уверен, не писал. ;)
MuSHyTA, нормально всё у Вас с robots.txt. :)
Ziby, я бы не стал ТАК делать, не вижу необходимости, а проблем огрести как пару пальцев... Хотя в вашей квалификации не сомневаюсь.
Робот сапы слушается robots.txt , но создать для него отдельную секцию с директивами пока не получится. Может когда-нибудь введут свой User-agent )
1. Общую секцию с запретом для индексации придётся убрать.
2. Вам, ТС, следует для всех популярных ПС прописать свои секции с ограничениями.
Возможно, достаточно будет поставить ограничение для робота Яхи.
User-agent: Slurp
Disallow: /
Частенько он мучает сайты.
--
Другое дело, поможет ли это или нет реально снизить нагрузку - ответить без анализа лога запросов к сайту, сложновато. Подозреваю, что вам это не поможет.
Вордпресс - это пресс для сервера). Не помешало бы оптимизировать работу скриптов (.
------------
Как вариант, можно узнать IP робота сапы и давать ему другой robots.txt !