- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
То есть без слеша на конце
Стоит ли прописывать оба этих варианта? Или ограничиться только со слешем. На сайте все урлы прописаны со слешем но поисковик мало ли где найдет упоминания без слеша.........
User-agent: *
Disallow: /usercp/
Disallow: /register/
Disallow: /login/
Disallow: /search/
В данном случае, должно быть только (!!!) без слеша:
закрываем и для http://www.****.ru/login/ и для http://www.****.ru/login
Disallow: /login
Не смотря на все советы опубликованные тут столкнулся с проблеМММой
Яндекекс скушал www.всетут.ru/admin/ до того как она была зактыта robots.txt
Сейчас по советам все папки установлены без завершающего слеша
Disallow: /admin
Решил ее удалить вручную в яндексе
Добавляю там www.всетут.ru/admin/ (удалить весь каталог) А мне яндекс пишет что не может ее удалить так как она не запрещена к индексации
Убираю слешь и он пишет что удалит через некоторое время.
Значит получается директивы
Disallow: /admin
Disallow: /admin/
Все же разные и певая строка не запрезает индексацию урла со слешем а это подразумевает что и /admin/555 тоже будут проиндексированы?
Блин проверил и http://www.всетут.ru/admin/?a=articles спокойно добавился :(
А если так?
Disallow: /admin
Host: www.всетут.ru
User-agent: *
Disallow: /admin
А если так?
Хост прописан
Но ведь Как я уже сказал Яндекс считает
Разными совершенно урлами.
Ваш пример от моего первичного отличается только добавлением хоста, а он у меня прописан просто я на этом не акцентировал внимания
ЗЫ Кажется Яндекс совсем сломали :( Ввожу http://www.yandex.ru/cgi-bin/test-robots?host=www.****.ru
И пишет что ничего не запрещено
А у меня там
отличается только добавлением хоста, а он у меня прописан просто я на этом не акцентировал внимания
Я имел в виду, что если у вас в роботс прописаны строки User-agent для разных поисковиков, то и Disallow: для разных поисковиков должны повторяться несколько раз.
А не так:
User-agent: Yandex
Disallow:
Host: www.всетут.ru
User-agent: *
Disallow: /admin
И не так:
Disallow: /admin
Host: www.всетут.ru
User-agent: *
Disallow:
Если не в этом причина, тогда вообще странно.
Методом эксперементов было определено что яндекс не всегда воспринимает строку
User-agent: *
если ниже находится
User-agent: Yandex
Возможно уже "баян"
А у меня там
Правильно должно быть так:
Методом эксперементов было определено что яндекс не всегда воспринимает строку
User-agent: *
если ниже находится
User-agent: Yandex
Это общеизвестный факт.
p.s. Значит, все таки, причина была не в Яндексе, а в вашем файле роботс. ;)
Причина во мне.
Но тем не менее первый мой сегодняшний пост описал другую проблеМММу.
У меня было прописано неправильно (просто раньше директиву хост никогда не ставил) но тем не менее вручную не мог удалить станицы из индекса так как Яндекс по разному воспринимал со слешем и без
Вот файл роботс самого Яндекса, посмотрите, как он составлен:
User-agent: *
Disallow: /?
Disallow: /404.html
Disallow: /about.html
Disallow: /advanced_engl.html
Disallow: /advertising
Disallow: /articles
Disallow: /chisla.html
Disallow: /cgi-bin/
Disallow: /cgi/
Disallow: /cy
Disallow: /dzen.html
Disallow: /i/
Disallow: /ie3/yandsearch
Disallow: /keyboard_qwerty.html
Disallow: /logotypes
Disallow: /norobot
Disallow: /polling
Disallow: /redir
Disallow: /regions.html?
Disallow: /s/
Disallow: /setup
Disallow: /skazki
Disallow: /subscribe/confirm.pl
Disallow: /subscribe/view.pl
Disallow: /yaca
Disallow: /ya
Host: www.yandex.ru
Ничего здесь не дублируется со слешем и без слеша.
Т.е.,
Disallow: /cy
Disallow: /ya
закрывает одновременно и
Disallow: /cy/
Disallow: /ya/
AVV, Видел его конечно. .
Только директива Хост нужна только для Яндекса и поэтому как я понимаю все прописывают
А именно тут у меня Яндекс и споткнулся так как с глюком стал читать директиву User-agent:*
Глюк я так понимаю был в том что он то читал это то нет