- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброго времени суток
Искал в интернете как создать робокс.txt нашел несколько примеров и все разные .
Напишите или ссылку дайте на правильный робокс.txt.
Да еще как создать простую карту сайта предпочтительно для поисковых систем Гугл и Яндекс чтоб она автоматически обновлялась при написание постов и тем на форуме. Если простые модули (что бы сильно не грузили хост) для создание карты сайта?
Движок форума vBulletin 3.8.4
:)
тут
Ответ на ваш вопрос
vBSEO Google/Yahoo Sitemap Generator
Примерный вариант:
Disallow: /
User-agent: MSNBot
Disallow:/
User-agent: *
Disallow: /ajax.php
Disallow: /announcement.php
Disallow: /archive/
Disallow: /attachment.php
Disallow: /away.php
Disallow: /calendar.php
Disallow: /clientscript/
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /cron.php
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /customgroupicons/
Disallow: /editpost.php
Disallow: /faq.php
Disallow: /global.php
Disallow: /groupsubscription.php
Disallow: /group_inlinemod.php
Disallow: /image.php
Disallow: /images/
Disallow: /includes/
Disallow: /infraction.php
Disallow: /inlinemod.php
Disallow: /install/
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /member.php
Disallow: /memberlist.php
Disallow: /member_inlinemod.php
Disallow: /misc.php
Disallow: /moderation.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /payments.php
Disallow: /payment_gateway.php
Disallow: /picture_inlinemod.php
Disallow: /poll.php
Disallow: /posthistory.php
Disallow: /postings.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /usernote.php
Crawl-delay: 10
с картой сайта разобрался :)
Робокс поставил такой:
User-agent: *
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /customprofilepics/
Disallow: /images/
Disallow: /includes/
Disallow: /signaturepics/
Disallow: /clear.gif
Disallow: /ajax.php
Disallow: /album.php
Disallow: /announcement.php
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /converse.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /external.php
Disallow: /faq.php
Disallow: /global.php
Disallow: /group.php
Disallow: /group_inlinemod.php
Disallow: /groupsubscription.php
Disallow: /infraction.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /member.php
Disallow: /member_inlinemod.php
Disallow: /memberlist.php
Disallow: /menuimg.php
Disallow: /moderation.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /payment_gateway.php
Disallow: /payments.php
Disallow: /picture_inlinemod.php
Disallow: /picturecomment.php
Disallow: /poll.php
Disallow: /posthistory.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /subscription.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /usernote.php
Disallow: /visitormessage.php
Host: www.ваш сайт.ru
sitemap: http://www.ваш сайт.ru/sitemap.xml
Посмотрим как поисковики будут индексировать
Pavel Krylov, только робот.тхт это не панацея, а одна из капелек, которая способствует индексации. Надо работать и над многим другим.
Посмотрим как поисковики будут индексировать
А тут и смотреть нечего, если будет название Робокс.txt будут читать всё подрят без исключения.
название robots.txt