- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Камрады, помогите, пожалуйста, советом.
Создаю директиву
User-agent: *
Disallow: /p2
А Google WMT при тестировании robots.txt говорит, что URL вида
site.ru/rem/p20 - доступен для робота.
Подскажите, где ошибка?
И еще вопрос (если найдется решение на предыдущий), как аккуратно закрыть все страницы, в которых присутствуют: p1/p2/p3/p4/p5/p6/p7/p8/p9 (лишняя пагинация) ?
User-agent: *
Disallow: /*p2
это общее правило, но так вы рискуете закрыть страницы: /p2dsfsdf/
лучше каждый атрибут:
Disallow: /rem/p7
Камрады, помогите, пожалуйста, советом.
Создаю директиву
User-agent: *
Disallow: /p2
А Google WMT при тестировании robots.txt говорит, что URL вида
site.ru/rem/p20 - доступен для робота.
Подскажите, где ошибка?
И еще вопрос (если найдется решение на предыдущий), как аккуратно закрыть все страницы, в которых присутствуют: p1/p2/p3/p4/p5/p6/p7/p8/p9 (лишняя пагинация) ?
еще точнее будет:
User-agent: *
Disallow: /rem/p7$
маловероятно, но так вы не запретите url-ы /rem/p7sdfdsf
Камрады, помогите, пожалуйста, советом.
Создаю директиву
User-agent: *
Disallow: /p2
А Google WMT при тестировании robots.txt говорит, что URL вида
site.ru/rem/p20 - доступен для робота.
Подскажите, где ошибка?
И еще вопрос (если найдется решение на предыдущий), как аккуратно закрыть все страницы, в которых присутствуют: p1/p2/p3/p4/p5/p6/p7/p8/p9 (лишняя пагинация) ?
Я бы так сделал:
User-agent: *
Disallow: /rem/p*
Подскажите пожалуйста, вот мой файл robots.txt
Disallow: /category/*/*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /trackback
Disallow: */trackback
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /*?*
Disallow: /?feed=
Disallow: /?s=
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /tag/
Disallow: /xmlrpc.php
User-agent: Yandex
Disallow: /category/*/*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback/
Disallow: */trackback
Disallow: /tag/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /?feed=
Disallow: /*?*
Disallow: /?s=
Host: takeyourlife.ru
Делал его не я, взял откуда-то. Сайт на вордпрессе. Этот файл прикрывает рубрики от индексации (Disallow: /category/*/*). Получается, что индексируется только главная страница и только части статей, которые на главной странице, а сами статьи не индексируются, потому что вид ссылок /%category%/%postname%/. Если убрать строчку (Disallow: /category/*/*) не случится ли так, что ссылки станут неканоничными и всё будет плохо? Хотелось бы сохранить вид ссылок.
В вордпрессе каждый пост доступен еще и по id. То есть в запись сайт.ру/статья можно попасть так: сайт.ру/?p=342
Стоит ли закрывать в роботсе второй вариант от индексации? Я его закрываю правилом /*?*
Подскажите пожалуйста, вот мой файл robots.txt
Делал его не я, взял откуда-то. Сайт на вордпрессе. Этот файл прикрывает рубрики от индексации (Disallow: /category/*/*). Получается, что индексируется только главная страница и только части статей, которые на главной странице, а сами статьи не индексируются, потому что вид ссылок /%category%/%postname%/. Если убрать строчку (Disallow: /category/*/*) не случится ли так, что ссылки станут неканоничными и всё будет плохо? Хотелось бы сохранить вид ссылок.
Не зачем брать чужой robots.txt, тем более если он Вам не подходит. Лучше оставить дефолтовый, и от него уже закрывать, то что Вам не нужно видеть в индексе. Для того, чтобы страницы делать каноническими, можно использовать тег canonical.
каким инструментом можно выявить все дубли страниц, пример http://game-account.ru
каким инструментом можно выявить все дубли страниц, пример http://game-account.ru
Проверить можно лягушкой или любым другим тулзом, и отсортировать например по Title.
Подскажите. Нужно закрыть в robots.txt все ссылки содержащие элемент ?cur_cc. Правилен ли будет такой вариант: Disallow: /*?cur_cc*
Верно или нет?
А как закрыть ссылку вот такого вида?
http://www.site.com/index.php?&MY_REQUEST_URI=/page1.html
Disallow: /*&MY_REQUEST_URI=*
Правильно будет?
Так как основные ссылки http://www.site.com/page1.html