- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
всем привет!
делаю свой первый robots.txt, этот для форума на phpBB2. проясните, пожалуйста, пару моментов:
1. Динамические ссылки с параметрами (/file.php?param=value)
Disallow: /posting.php
достаточно ли этого, чтобы блокировать индексацию posting.php с параметрами:
posting.php?mode=somemode
posting.php?someprarm=value
2. Что добавлять
вот что я уже добавил:
User-agent: *
Disallow: /search.php
Disallow: /memberlist.php
Disallow: /groupcp.php
Disallow: /login.php
Disallow: /profile.php
Disallow: /privmsg.php
Disallow: /viewonline.php
Disallow: /posting.php
Disallow: /faq.php
стоит ли добавлять папки и файлы на которые ничто со страниц форума не ссылается (по крайней мере не должно)? а именно:
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /config.php
Disallow: /common.php
и др
3. Стоит ли запрещать индексацию RSS ленты?
заранее спасибо :)
flamey, я закрывал следующее:
User-Agent: Yandex
Disallow: /forum/includes
Disallow: /forum/tmp
Disallow: /forum/templates
Disallow: /forum/language
Disallow: /forum/admin
Disallow: /forum/cash
Disallow: /forum/docs
Disallow: /forum/subsilver
Disallow: /forum/db
Disallow: /forum/profile
Disallow: /forum/privmsg
Disallow: /forum/posting
Disallow: /forum/viewonline
Disallow: /forum/modcp
Disallow: /forum/login
Disallow: /forum/search
Disallow: /forum/groupcp
Disallow: /forum/memberlist
Disallow: /forum/faq
Disallow: /forum/ranks
Disallow: /forum/viewtopic.php?sid=
Воспользуйтесь также поиском, эта тема обсуждалась.
спасибо за ответ!
да, я почитал. но на 1й и 3й ответов не нашёл. правда я уже практически убедился что ответ на 1й вопрос - да, достаточно.
а по тому, что добавлять.. я например не вижу смысла закрывать директории и файлы на которые всё равно ссылок нет. кстати, а почему вы закрывали только для Яндекса, или это только часть файла? и ещё "Disallow: /forum/viewtopic.php?sid=" «- такого кажеться не может быть в принципе. SID автоматически добавлвляется в конце. да и вообще его желательно убрать, я щас этим как раз заниматься буду.
/forum/viewtopic.php?sid="
посмотрите как выглядит ссылка после перехода из поиска новых сообщений.
Если пользователь попал на такую страницу и загрузил на ней счетчик Рамблера (возможный вариант - зашел с баром Яндекса), то поисковик узнает об этой странице и пришлет робота для индексации.
По хорошему лучше закрыть все ссылки на сообщения
Disallow: /viewtopic.php?p=
они просто дблируют ссылки на темы
/viewtopic.php?t=
пример
robots.txt на http://www.ebanners.ru/
вот, что получилось - проиндексировано на www.ebanners.ru
Николай, спасибо!
блин, этот же зарос про мой форум — ничего не найдено. хорошо что я занялся его оптимизацией.. странно, а форум в серпе есть, и ещё первый по главному запросу. и переходы с яндекса есть, мало правда.