- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
чето я не догоняю....
либо я туплю, либо яндекс забил на роботс.
User-Agent: *
Disallow: /cgi-bin
Disallow: /forum/faq.php*
Disallow: /forum/search.php*
Disallow: /forum/memberlist.php*
Disallow: /forum/ucp.php*
Disallow: /forum/member*
Disallow: /forum/index.php*
Disallow: /forum/posting.php*
Disallow: /forum/viewtopic.php*
Host: www.домен.ru
прямо сейчас вижу урлы в индексе
http://www.домен.ru/forum/ucp.php?mode=privacy&sid=всякахрень
http://www.домен.ru/forum/member148.html
и т.д.
исходя из роботса этого помоему быть не должно.
или я где-то ошибся?
Не должно. И давно висит такой robots.txt ?
Лучше покажите домен.
Но звездочки я бы убрал нафиг, они тут ни к чему.
Директиву Host можете тоже убрать или уж приклеить к блоку.
Если есть строка
Disallow: /forum/member
То строку
Disallow: /forum/memberlist.php
уже не нужно писать.
или я где-то ошибся
User-Agent: *
Disallow: /forum/*faq
Disallow: /forum/*search
Disallow: /forum/*memberlist
Disallow: /forum/*ucp
Disallow: /forum/*member
Disallow: /forum/*index
Disallow: /forum/*posting
Disallow: /forum/*viewtopic
Host: www.домен.ru
Видимо роботс стоит недавно, и страницы не успели "выпасть" из индекса.
Не должно. И давно висит такой robots.txt ?
Лучше покажите домен.
Но звездочки я бы убрал нафиг, они тут ни к чему.
Директиву Host можете тоже убрать или уж приклеить к блоку.
Если есть строка
Disallow: /forum/member
То строку
Disallow: /forum/memberlist.php
уже не нужно писать.
линк в личку скинул
форум добавил неделю назад где-то, в роботсе стазу-же прописано было,
сегодня только добавил Disallow: /forum/viewtopic.php*
зы: попробовал проверить валидность в панели ВМ вывалила ошибка - Cервис временно недоступен. Обратитесь немного позже. :)
В любом случае, заодно разберитесь с ID сессий. Роботам не нужны сессии, даже наоборот.
И перечитайте FAQ Яндекса про robots.txt, пригодится.
В любом случае, заодно разберитесь с ID сессий. Роботам не нужны сессии, даже наоборот.
И перечитайте FAQ Яндекса про robots.txt, пригодится.
на форуме стоит плагин который преобразует в псевдо статику все урлы нужные,
поэтому всю динамику загнал сразу в роботс.
по сессеям да, я читал недавно, помоему на самом-же яндексе, там есть для них специальные коды/параметры(фиг знает как правильно назвать).
в любом случае всем спасибо за подсказки :)
по сессеям да, я читал недавно, помоему на самом-же яндексе, там есть для них специальные коды/параметры
Это спец-методы для особо тяжелых случаев, когда нет доступа к вебмастеру, чтобы оторвать ему руки.
Это спец-методы для особо тяжелых случаев, когда нет доступа к вебмастеру, чтобы оторвать ему руки.
😂
зы а проверка валидности роботс в панели тока у меня ругается или еще у кого?
раньше как-то вообще не доводилось ею(проверкой) пользоваться.
AboutSEO добавил 27.04.2010 в 20:49
сегодня, проверка на валиднось заработала и странным образом все смущающие меня урлы из выдачи пропали даже без изменения роботса, т.е. он остался в первоначальном виде.
есть ли какая взаимосвязь между работой валидатора в панели и ошибками связанными с индексацией запрещенных страниц?
маразм крепчал.. :D
сегодняшний АП и опять куча страниц которые запрещены и которые при проверке валидатором тоже запрещены.
нифига я механизм не понимаю..
т.е. сперва качают все подряд, а потом прогонят через роботс???
вместо того, чтобы перед закачкой проверять.
мда уж
т.е. сперва качают все подряд, а потом прогонят через роботс???
вместо того, чтобы перед закачкой проверять.
мда уж
роботы разные, синхронизация на уровне.
в панели веб мастера есть "Исключенные страницы"
там достаточно инфо что бы сделать выводы.