- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Подскажите, пожалуйста, как правильно в роботсе. Есть урлы типа:
http://site.ru/discussthis/new/а тут циферки разные ставятся автоматом
Как сделать так, чтобы роботы не доходили туда? Наверное правильно закрыть доступ к урлу
http://site.ru/discussthis/ и всему остальному, что может быть после черты.
Я представляю себе это примерно так:
Скажите, пожалуйста, это правильно, захватит ли этот вариант все страницы идущие после последней дробной черты?
Как сделать так, чтобы роботы не доходили туда?
User-agent: *
Disallow: /discussthis/new/а
Подскажите, пожалуйста, как правильно в роботсе. Есть урлы типа:
http://site.ru/discussthis/new/а тут циферки разные ставятся автоматом
Как сделать так, чтобы роботы не доходили туда? Наверное правильно закрыть доступ к урлу
http://site.ru/discussthis/ и всему остальному, что может быть после черты.
Я представляю себе это примерно так:
Скажите, пожалуйста, это правильно, захватит ли этот вариант все страницы идущие после последней дробной черты?
да правильно, вы закрыли от индексации директорию(папку) /discussthis/, и эта директория и все что в ней находится, индексироваться не будет.
да правильно, вы закрыли от индексации директорию(папку) /discussthis/, и эта директория и все что в ней находится, индексироваться не будет.
Т.е. все внутренние папки и файлы будут недоступны для роботов, верно?
Т.е. все внутренние папки и файлы будут недоступны для роботов, верно?
Да, запрещена индексация папки /discussthis/ и всего её содержимого.
Большое спасибо за помощь :)
DmitryNa добавил 07.12.2008 в 15:35
Если я не ошибаюсь, то через мой роботс новый прорвался робот Яху - http://www.webnames.ru/scripts/whois.pl?domain_name=67.195.37.89 , подскажите, пожалуйста, как быть?
Если я не ошибаюсь, то через мой роботс новый прорвался робот Яху
И что в этом сверхъестественного?
Скажите, пожалуйста, это правильно, захватит ли этот вариант все страницы идущие после последней дробной черты?
Да. Правильно. Все урлы, содержащие
.ru/discussthis/
И что в этом сверхъестественного?
Нужно сделать, чтобы он не прорывался, как?
Нужно сделать, чтобы он не прорывался
Добавить в robots.txt:
User-agent: Slurp
Disallow: /
Добавить в robots.txt:
User-agent: Slurp
Disallow: /
У меня ведь стоит звезочка вместо имени робота, разве робот Яху не реагирует на неё, его нужно именно носом ткнуть, или он реагирует не сразу, или ещё что-то?