- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
1. Как правильно сделать robots.txt:
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: site.ru
Sitemap: http:// sitе.ru/sitemaр.xml
Или еще стоит добавить:
Disallow: /search
Disallow: /?s=*
Disallow: /author/*
Disallow: /tag/*
Disallow: /trackback
Disallow: /20*/*
Disallow: /page/*
Disallow: /comment-page*
Disallow: /*?replytocom*
2. Можно ли получить какие либо санкции от ПС если разместить на главной 500 - 700 внутренних ссылок.
Зачем дублировать записи - для всех роботов (User-agent: *) и потом тоже самое для Yandex (User-agent: Yandex)?
Не понимаю этого. Вы уже задали для ВСЕХ ботов, зачем для Я отдельные правила?
Добавить можно, хуже не будет.
За 500-700 ссылок может и ничего не будет, т.к. они внутренние - а про удобство юзеров подумали? Нужно им полотно-меню в 10 скролбаров?
Роботс выкинуть. В нем перечислена куча папок, которых нет либо вовсе у ВП, либо они лежат не в корне. Файл в топку, можно без его составителя, судя по всему он молод и ВП изнутри не видел:)
Disallow: /installation/
- яркий пример
а как правильно?
Что стоит убрать?
Это вообще robots.txt для Joomla у Вас.
Вот WP:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /tag/
Disallow: /2012/
Disallow: */trackback
Disallow: /?s=
Disallow: */feed
Disallow: */category
Disallow: /xmlrpc.php
Disallow: */comment-page
Host: domen.ru
Sitemap: http://domen.ru/sitemap.xml.gz
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Этого всего нет в Вордпрессе. Что за бред?
NewFelix спасибо.
Этого всего нет в Вордпрессе. Что за бред?
Это стандартный джумловский роботс :)
а как правильно?
Что стоит убрать?
Вот нормальный роботс для WP:
Просто, ничего лишнего.
Вот нормальный роботс для WP:
User-agent: *
Disallow:
Просто, ничего лишнего.
И куча "нормальных" дублей и мусорных страниц. :)
И куча "нормальных" дублей и мусорных страниц. :)
Не знаю, пока все чисто кажется :) Хотя, Яндекс наверное сам чистит дубли :)
Тем не менее - всегда с таким роботсом работал и проблем не знал.