- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Вобщем такая ситуация:
Довольно частро встречаются на глаза "правильные" robots.txt, в которых запрещают от индексации /pages/. Так вот, насколько это првильно? Вот у меня например есть запросы по которым в топе не сама новость, а именно страница на которой эта новость расположена. Но что происходит потом, когда эта новость перебирается на новую страницу? Я понимаю, что тут происходит какбы дублирование контента, но все-таки уже более 2х лет, и все ок. (слава богу). Так вот, если я например закрою эти страницы, тогда у меня из индекса вылетит около 30% сайта?, что делать посоветуйте. :gm: Или возможно такое, что трафа пойдет больше, т.к на верх могут повсплывать именно новости, а не страницы-путешественницы? Короче я в замешательстве. Кто сталкивался?
Небольшое добавление:
Как ореагируют ПС, если действительно в индексе будет резко на 30% меньше страниц после запрета? Или они не вылетят, а просто перестанут индексироваться? И вообще влияет ли на ранжирование объем сайта в целом?
У меня такой
vandamme добавил 27.07.2010 в 23:16
Я понимаю, что тут происходит какбы дублирование контента
нет конечно, этот запрос выпадет либо он со временем переберется на новую страницу
vandamme добавил 27.07.2010 в 23:17
вы хотите запретить индексацию /page/*/ ???
вы хотите запретить индексацию /page/*/ ???
да, именно об этом, но посмотрела LI статистику, на эти страницы идет почти 10% трафика, вот теперь думаю может не стоит трогать? Хотя очень интересно глянуть как это повлияет на позиции именно конкретных новостей. Могут страницы "перебивать" в выдаче полную новость?
http://www.google.ru/search?hl=ru&source=hp&q=robots.txt+DLE&btnG=%D0%9F%D0%BE%D0%B8%D1%81%D0%BA+%D0%B2+Google
влияет ли на ранжирование объем сайта в целом?
Точно незнаю, но предполагаю чем больше страниц, тем лучше.
Главная страница становить более жирным так сказать...
У меня на Dle сайте:
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /images/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /tags
Sitemap: http://www.saite.ru/sitemap.xml
User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /images/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /tags
Sitemap: http://www.saite.ru/sitemap.xml
Host: www.saite.ru
Gaborik добавил 28.07.2010 в 01:23
Облако тегов думаю лучше закрыть.
Как ни крути дубли контента.
Вобщем такая ситуация:
Довольно частро встречаются на глаза "правильные" robots.txt, в которых запрещают от индексации /pages/. Так вот, насколько это првильно?
Чаще всего не правильно, но зависит от:
- структуры сайта (вложенности каталогов в которых присутствует одна и та же новость)
- вашего шаблона, точнее от того как у вас выводится ссылка на полную новость.
- от краткого содержания новости.
Как ореагируют ПС, если действительно в индексе будет резко на 30% меньше страниц после запрета?
Потеряете свои "почти 10% трафика" и переколбас по позициям, скорее всего не значительный.
Или они не вылетят, а просто перестанут индексироваться?
Скорее так: "перестанут индексироваться" и "вылетят"
И вообще влияет ли на ранжирование объем сайта в целом?
Да, если этот объём в индексе, то влияет положительно.
Ну и мой правильный роботс:
Это при чистой усановке.
Облако тегов лучше вообще не использовать и закрывать не придется.
Вот так думаю нормально:
Disallow: /*print
Disallow: /*user
Disallow: /page/
Disallow: /engine/
Disallow: /cgi-bin/
Disallow: /autobackup.php
Disallow: /backup/
Disallow: /language/
Disallow: /favorites/
Disallow: /statistics.html
Disallow: /newposts/
Disallow: /templates/
Disallow: /tags/
Disallow: /admin.php
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=lastcomments
Sitemap: http://www.site.ru/sitemap.xml
Host: www.site.ru
Alexis766, перед дачей вредных советов почитай мануалы Яндекса про хост.
Чаще всего не правильно, но зависит от:
- структуры сайта (вложенности каталогов в которых присутствует одна и та же новость)
- вашего шаблона, точнее от того как у вас выводится ссылка на полную новость.
- от краткого содержания новости.
Потеряете свои "почти 10% трафика" и переколбас по позициям, скорее всего не значительный.
Скорее так: "перестанут индексироваться" и "вылетят"
Да, если этот объём в индексе, то влияет положительно.
Ну и мой правильный роботс:
Это при чистой усановке.
Облако тегов лучше вообще не использовать и закрывать не придется.
Скажите, а чем отличается такой запрет Disallow: */page/1/ , от какова Disallow: /page/1/.? т.е без звездочки? Ведь по сути одну и туже работу выполняют?
Расскажите мне, зачем закрывать от индексации page?:)
У меня толстячки на DLE с тегами живут в Яндексе очень хорошо, и траф именно на теги идет приличный. Думаю, их не всегда нужно закрывать. Тем более у тегов уникальные названия, собирающие траф. А pages, на мой взгляд, тупо дублируют контент(если в shortstory выдается тоже самое, что уже есть в fullstory) и не несут никакой пользы, их можно и закрыть. Если на них идет траф, Яндекс врядли будет их резать, поэтому лучше наверное не делать резких движений, если сайт, как Вы говорите, старый.