- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
К сожалению это давно заезжена тема, и неверное будет оставаться таковой. Не судите :)
Сайт на dle, а форум на vBulletin.
форум расположен в папке forum
Полазил по форумам почитав разные сайты, в том числе и сайт о роботс тхт, посмотрев роботы сайтов окончательно запутался. Хочу сделать роботс тхт для форума и сайта в одном.
Это примерный список того что нужно закрыть, может что что посоветует (дополнить или удалить).
User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
для форума я взял с самого форума VB орг.
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/album.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/global.php
Disallow: /forum/group.php
Disallow: /forum/group_inlinemod.php
Disallow: /forum/groupsubscription.php
Disallow: /forum/image.php
Disallow: /forum/infraction.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/member_inlinemod.php
Disallow: /forum/memberlist.php
Disallow: /forum/moderation.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/payment_gateway.php
Disallow: /forum/payments.php
Disallow: /forum/picture.php
Disallow: /forum/picture_inlinemod.php
Disallow: /forum/picturecomment.php
Disallow: /forum/poll.php
Disallow: /forum/post_thanks.php
Disallow: /forum/posthistory.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/search_google.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/subscription.php
Disallow: /forum/subscriptions.php
Disallow: /forum/tags.php
Disallow: /forum/threadrate.php
Disallow: /forum/threadtag.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/vbam_advertisement.php
Disallow: /forum/vbseocp.php
Disallow: /forum/vbseocpform.php
Disallow: /forum/visitormessage.php
WerewolfCisco добавил 17.08.2010 в 15:10
Никто не может подсказать ?:(
Disallow: /forum/clientscript/
= Disallow: /forum/
что само по себе закрывает весь форум.
делайте
Disallow: /*clientscript
Astaldo добавил 17.08.2010 в 15:23
Хотя не. что то мне подсказывает, что я ошибаюсь.
Извините.
= Disallow: /forum/
Не, не равно
Не понимаю зачем у DLE закрывают аплоадс, там обычно картинки и в итоге они не будут проиндексированы
Не понимаю зачем у DLE закрывают аплоадс, там обычно картинки и в итоге они не будут проиндексированы
Вот по этому я и спрашиваю совета.
Я так же не могу понять почему в примере который я достал закрыта Disallow: /cache/ , ведь она находится в engine
Так же мне кажется что стоит закрыть от индексации и папку /templates/ , в ней хранятся стандартные шаблоны и Ваш шаблон, который ПС , как мне кажется , до лампочки.
Так же мне кажется что стоит закрыть от индексации и папку /templates/ , в ней хранятся стандартные шаблоны и Ваш шаблон, который ПС , как мне кажется , до лампочки.
Возможно, правда в ней есть папка images в ней логотип (шапка) сайта, для ПС они станут недоступными, возможно это не очень хорошо, но вопрос спорный.
Возможно, правда в ней есть папка images в ней логотип (шапка) сайта, для ПС они станут недоступными, возможно это не очень хорошо, но вопрос спорный.
В чем выражается "не очень хорошо" . Вы имеете в виду что будет закрыт доступ на ключевики? :)
В чем выражается "не очень хорошо" . Вы имеете в виду что будет закрыт доступ на ключевики? :)
Нет, на ключевики точно не будет закрыт, т.к. все метатеги генерятся уже файлом index.php, а он не закрыт от индексации.
Подумал просто, что если дизайн уникальный и шапка тоже, то зачем скрывать этот плюс от ПС :)