- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
После вчерашние темы про чистку Яндексом своей базы полез поглядеть что за страницы Яндекс у меня проиндексировал - и немного ужаснулся... Около 36 000 страниц. Многие из которых - это сраницы форума. В принципе, там и тайтлы прописаны и все такое, то есть не сильно бесполезные страницы для тех кто ищет инфу. Но вот еще что заметил. Есть допустим раздел "Пресса о нас...", в нем размещаются статьи из прессы. У каждой такой статьи есть ссылочки, "Обсудить на форуме", "Отправить на почту" и т.д... В яндексе полно проиндексированных страниц именно отправка на почту некой статьи... мммм... Как-то непонятно выражаюсь...
Вот урл. - http://www.yandex.ru/yandsearch?serverurl=www.chukotken.ru
Из 10 ссылок, нормальных только 2, первая и восьмая... Что сделать, запретить яндексу индексировать путь /articles/send_mai.php и можно ли так? Ну в смысле запретить индексировать именно файл? Потому как тогда бы я запретил к индексации и версию для печати, дабы не было дублей...
Так стоит ли закрывать форум для индексации? Не слишком ли это много более 30 000 страниц с одного сайта? Не сочтет ли Яндекс это чем-нить нехорошим?
З.Ы. Ни первая ни восьмая уже не те, которые были когда я писал тему :( Все меняется... Очень быстро...
ИМХО
Весь форум закрывать не надо, надо закрыть "вспомогательные разделы".
По примеру как тут:
www.volchat.ru/robots.txt
Кол-во странициц сократится, останутся только инфомативные. а за информацию яндекс вряд настучит по голове.
Кстати, в десятке по высокочастотнику связанному со словом форум, есть форумы без файла роботс и имеющие более 40 000 страниц.
Спасибо. Примером этого Роботса Вы ответили на все поставленные мной вопросы!!! Большое спасибо... Знать бы как Вам плюс поставить...
возник маленький вопросик.
Disallow: /forum/index.php?showuser=
не закрывает ли строчка выше роботу /forum/index.php или /forum/index.php?showtopic=1
Может глупый вопрос, просто хочется быть полностью уверенным...
Нет, вроде не закрывает.
тогда еще вопросик :)
есть основной сайт ццц.chukotken.ru у него в корне роботс и в нем что надо прописал.
есть подсайт foto.chukotken.ру ? который отдельно описан в Яндекс каталоге и все такое... То есть он вроде как отдельный. Хотя на хостинге, папка фотогалереи (этого подсайта) находится именно в подпапке основного сайта... Так вот вопрос. ему надо писать свой роботс тхт и класть в свою папку? или же прописывать запреты для индексации в корневом роботсе?
Вот такой вот я дотошный... ;)
Это отдельный сайт, отдельный домен (ну или поддомен) - по моему надо. ИМХО
Попробуйте положить в подпапку robots.txt и запросите его: http://поддомен.домен.ру/robots.txt . Если вы его увидите, значит он будет работать для поддомена. А вообще, как правильно заметили, домен и поддомен - это независимые сайты.
спасибо за ответы.
Большое спасибо!