- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
В кеше и в выдаче яндекса есть туча ненужных страниц, которые закрыты от индексации в роботс.тхт
Страницы новые и были проиндексированы после закрытия их в роботс.тхт
User-agent: *
Disallow: /?action=freight&page=*
www.sit-trans.com/?action=freight&page=506&
Вопрос: почему яндекс их индексирует и игнорирует роботс.тхт?
Вопрос2: как бороться с яндексом в такой ситуации? может кто-нибудь знает оптимальное решение для яндекса?
Потому как таких страниц - в принципе очень много и они не несут никакого контента в себе.
mstar,
http://www.yandex.ru/cgi-bin/test-robots?host=www.sit-trans.com
Научитесь писать роботс правильно!!!
User-agent: *
Disallow: /?action=freight&page=*
Disallow: /?action=transport&page=*
Disallow: /forum/*
Disallow: /forum/admin/
Disallow: /forum/db/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/language/
Disallow: /forum/templates/
Disallow: /forum/common.php
Disallow: /forum/config.php
Disallow: /forum/faq.php
Disallow: /forum/groupcp.php
Disallow: /forum/login.php
Disallow: /forum/memberlist.php
Disallow: /forum/modcp.php
Disallow: /forum/posting.php
Disallow: /forum/privmsg.php
Disallow: /forum/profile.php
Disallow: /forum/search.php
Disallow: /forum/viewonline.php
Домашняя работа - 2. И родителей к директору =)))
Спасибо конечно за оперативность, но может Вы еще и подскажете что в нем неправильно?
mstar,
Уважаемый, за это неуд вовсе!!!
Нельзя в блоке пустые строки оставлять!
Нельзя в блоке пустые строки оставлять!
А не подскажете: переводы строк чем надо разделять? 13 или 1013?
На счет неуда: случайно заметил в выдаче, так как для гугла такой синтаксис вполне валидный.
А не подскажете: переводы строк чем надо разделять? 13 или 1013?
А вот это - всеравно. Согласно формата plain/text сервера.
Для win - 1310. *nix - 13. Заливая по ftp как текст - сервер сам исправит.
mstar,
объясните смысл
Disallow: /forum/* и
Disallow: /forum/viewonline.php
и еще
Вы о директиве Host слышали?
А то потом опять чудеса могут быть
если есть clean URLs - то их тоже... в Disallow
Вообще-то, насколько я помню, подстановочные символы (*) в robots.txt не поддерживаются кроме строки
User-agent: *
Отсюда, видимо, и чудеса с индексацией. Возможно, есть смысл исправить
Disallow: /?action=freight&page=*
Disallow: /?action=transport&page=*
на
Disallow: /?action=freight&page=
Disallow: /?action=transport&page=
и конечно
Disallow: /forum/*
на
Disallow: /forum/
после чего вся вот эта простыня уже не нужна:
Disallow: /forum/admin/
Disallow: /forum/db/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/language/
Disallow: /forum/templates/
Disallow: /forum/common.php
Disallow: /forum/config.php
Disallow: /forum/faq.php
Disallow: /forum/groupcp.php
Disallow: /forum/login.php
Disallow: /forum/memberlist.php
Disallow: /forum/modcp.php
Disallow: /forum/posting.php
Disallow: /forum/privmsg.php
Disallow: /forum/profile.php
Disallow: /forum/search.php
Disallow: /forum/viewonline.php
а за что форум в игнор-то?
имхо от форумов масса пользы
Поддерживаются, но не всеми ПС.
Ну а конструкция "Disallow: url*" - это нечно странное, даже если бы все поисковики поддерживали символы подстановки, в ней небыло бы никакого смысла все равно.