- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу

Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко

В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Думаю вопрос элементарен для старожил нашего форума, а то я устал бороздить просторы интернета в поисках ответа, везде написано одно и тоже, а не то что мне надо.
Допустимо ли написание инструкций роботу в таком виде:
User-agent: *
Disallow: /forum/viewforum.php
Disallow: /forum/viewonline.php
Disallow: /forum/viewtopic.php
Disallow: /forum/memberlist.php
Disallow: /forum/faq.php
Disallow: /forum/adm/
Disallow: /forum/mcp.php
Disallow: /forum/ucp.php
Disallow: /forum/search.php
Disallow: /forum/cache/
Disallow: /forum/download/
Disallow: /forum/files/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/store/
Disallow: /forum/styles/
Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml
Да, а что вас смущает?
Можно через Я.В проверять: http://webmaster.yandex.ru/robots.xml
Я проверял, он там ничерта не пишет о ошибке, но почему-то каждую строчку выделяет.
А смущает меня, то что и запрет на индекс, и хост, и карта сайта, все указано одним куском.
Все и должно быть одним куском и в таком порядке.
Выделяет - в смысле подчеркивает в FireFoxе? Может это просто проверка орфографии?
А смущает меня, то что и запрет на индекс, и хост, и карта сайта, все указано одним куском.
Все верно указано. Можно сделать отдельные блоки для Яндекса и других ПС, на случай, когда бот другой ПС придет и посчитает блок с нарушением стандартов и проигнорирует его, и то, что закрыто от индексации попадет в индекс этой ПС.
Он пишет следующее:
Строка:
1-11
User-agent: *
Disallow: /forum/viewforum.php
...
Sitemap: http://www.site.ru/sitemap.xml
И ничего не выделено и не сказано, если роботс без ошибок, так бы и сказал, а так какое-то непонятное молчание и упоминание всего содержимого роботса.
Drayvs, сказали же, что верно и как можно сделать.
Наличие карты и, тем более, наличие в ней ошибок, анализатор не проверяет.
Drayvs, у вас вопросы по роботсу или по кривой карте? Определитесь.
И ничего не выделено и не сказано, если карта без ошибок, так бы и сказал, а так какое-то непонятное молчание и упоминание всей карты...
там внизу после формы есть надпись "Список URL"
добавьте туда урлы, которые запрещаете к индексации и узнаете, будет ли яндекс их индексировать с вашим robots или нет :)
а так - составлено всё верно. можете тут перепроверить все директивы
Пардон, это была опечатка)
Ну раз все верно, то нормально. А то я где-то мельком увидел, что желательно разные блоки создавать для хоста и карты в роботсе и начал паниковать...