Индексация сайта. Странно

88
На сайте с 09.03.2016
Offline
103
988

Доброго времени суток.

У меня был домен (3 года) - решил чтобы не пропадал сделать на нем сайт

CMS Wordpress, после последнего апдейта яндекс все же проиндексировал его, но как-то странно.

Вот мой роботс

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /tag
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /tag
Host: название сайта.ру
Sitemap: http://название сайта.ру/sitemap.xml.gz
Sitemap: http://название сайта.ру/sitemap.xml

Стандартный роботс вордпресса

Вот что показывает в яндекс.вебмастере

Пока мало новостей и все они индексировались, но очень странно

Например, вот список страниц в поиске, я подчеркнул,что что меня смущает. Эти ведь страницы закрыты в роботсе, но попали в выдачу.

А нормальная страница попала в исключенные и так половину в исключенных половина в выдаче

Что я подчеркнул если перейти по ссылке то попадаешь на страницу с картинкой этой новости, заголовок и картинка.

Вот Исключенные страницы их 60, что соответствует первой картинке

Вот пункт Документ содержит мета-тег noindex

Это получается у меня закрыты 3 категории? Но материал ведь из них попал в выдачу. Как такое возможно?

И как исправить мою ситуацию?

И такой вопрос, как я писал выше у меня вордпресс и странно, например я вбиваю в поиск запрос нахожу в выдаче мою страницу, но у нее заголовок не самой новости, а шаблона сайта и если нажимаю перейти, то попадаю не на новость , а просто на главную страницу.

Спасибо, что уделили время на мой пост, получилось много(

L
На сайте с 20.02.2014
Offline
37
#1

У вас на странице http://название_сайта.ru/chityi-k-igram/fallout-4-chityi-k-igre.html/attachment/fal

есть строка

<link rel="canonical" href="http://название_сайта.ru/chityi-k-igram/fallout-4-chityi-k-igre.html/attachment/fal" />

и НЕТ строки с

<meta name="robots"

На странице http://название_сайта.ru/chityi-k-igram/fallout-4-chityi-k-igre.html аналогично.

Как у вас поисковики находят эти дубли? Скорее всего у вас на сайте есть эти ссылки. Где-то вы их упустили по недосмотру. Ищите :)

И, хоть и не по теме, у вас в шапке фраза "Все о секретах игр – коды и прохождения, возможность скачать игру, обзоры, игровые новости, трейлеры и видео, flash и онлайн игры, скриншоты, обои, обсуждения" нехорошо так залазит на ярко-оранжевый заголовок H1 и друг на друга. Так же текст темно-серого цвета на почти черном фоне - тоже непорядок.

88
На сайте с 09.03.2016
Offline
103
#2
Lanfen:
У вас на странице http://название_сайта.ru/chityi-k-igram/fallout-4-chityi-k-igre.html/attachment/fal
есть строка
<link rel="canonical" href="http://название_сайта.ru/chityi-k-igram/fallout-4-chityi-k-igre.html/attachment/fal" />
и НЕТ строки с
<meta name="robots"

На странице http://название_сайта.ru/chityi-k-igram/fallout-4-chityi-k-igre.html аналогично.

Как у вас поисковики находят эти дубли? Скорее всего у вас на сайте есть эти ссылки. Где-то вы их упустили по недосмотру. Ищите :)

И, хоть и не по теме, у вас в шапке фраза "Все о секретах игр – коды и прохождения, возможность скачать игру, обзоры, игровые новости, трейлеры и видео, flash и онлайн игры, скриншоты, обои, обсуждения" нехорошо так залазит на ярко-оранжевый заголовок H1 и друг на друга. Так же текст темно-серого цвета на почти черном фоне - тоже непорядок.

Спасибо за ответ.

Правда я мало, что понял)

А понял вот что. Значит мне нужно как-то закрыть переход по ссылкам в статьях? Т.е чтобы когда робот поисковый просматривал статью он не переходил по ссылке(картинке). Я правильно понял?

Насчет шапки я знаю-я сейчас шаблон перевожу, буду менять

Подскажите, вот в самом вордпрессе можно ввести название и описание сайта, можно в самом шаблоне и можно в all seo pack ввести.

Где нужно вводить и где удалять?

В самом вордпрессе можно удалить, а в шаблоне и плагине оставить?

L
На сайте с 20.02.2014
Offline
37
#3
88Vladimir88:
Спасибо за ответ.
Правда я мало, что понял) ...

Наверное, вы еще не сталкивались с тем, что называют "Канонический URL"

Посмотрите тут:

https://www.yandex.ru/support/webmaster/controlling-robot/html.xml#canonical

https://support.google.com/webmasters/answer/139066?hl=ru

Вы сделали одну страницу в двумя разными урлами (что плохо), да еще и прописали им разные "Канонические урлы" (что гораздо хуже). Что теперь делать?

Если уж у вас движком генерятся такие урлы, то нужно сделать так, чтобы у страниц типа /chityi-k-igram/fallout-4-chityi-k-igre.html

и других (если если нет, то у вас все шансы, что они еще появятся 🙄 ), был прописан "правильный" canonical

<link rel="canonical" href="http://название_сайта.ru/chityi-k-igram/fallout-4-chityi-k-igre.html" />

Это "склеит" страницы в глазах поисковиков.

88Vladimir88:
Значит мне нужно как-то закрыть переход по ссылкам в статьях?

Но в идеале, сделать так, чтобы этих "неправильных" ссылок в статьях не было, а в везде на ссылках стояли только "правильные" урлы.

Хотя бы потому, что урл это еще и элемент навигации. Пользователь должен иметь возможность вытереть в адресной строке конец и попасть в раздел на уровень выше

Взять, например, страницы http://ваш_сайт/category/chityi-k-igram и http://pcbestgames.ru/category/prohozhdeniya-igr

вытираем конец урла, получаем http://ваш_сайт/category/ и ожидаем увидеть страницу с категориями, а там... 🙄 упс!

Чтобы убрать уже существующие "неправильные" урлы из поиска - Редирект :) или 404 Not Found

Но устраивать редиректы внутри сайта - это плохо.

88Vladimir88:
Подскажите, вот в самом вордпрессе ...

Тут увы, с вордпрессом раньше работать не доводилось :(

88
На сайте с 09.03.2016
Offline
103
#4
Lanfen:
Наверное, вы еще не сталкивались с тем, что называют "Канонический URL"
Посмотрите тут:
https://www.yandex.ru/support/webmaster/controlling-robot/html.xml#canonical
https://support.google.com/webmasters/answer/139066?hl=ru

Вы сделали одну страницу в двумя разными урлами (что плохо), да еще и прописали им разные "Канонические урлы" (что гораздо хуже). Что теперь делать?

Если уж у вас движком генерятся такие урлы, то нужно сделать так, чтобы у страниц типа /chityi-k-igram/fallout-4-chityi-k-igre.html
и других (если если нет, то у вас все шансы, что они еще появятся 🙄 ), был прописан "правильный" canonical
<link rel="canonical" href="http://название_сайта.ru/chityi-k-igram/fallout-4-chityi-k-igre.html" />
Это "склеит" страницы в глазах поисковиков.



Но в идеале, сделать так, чтобы этих "неправильных" ссылок в статьях не было, а в везде на ссылках стояли только "правильные" урлы.

Хотя бы потому, что урл это еще и элемент навигации. Пользователь должен иметь возможность вытереть в адресной строке конец и попасть в раздел на уровень выше
Взять, например, страницы http://ваш_сайт/category/chityi-k-igram и http://pcbestgames.ru/category/prohozhdeniya-igr
вытираем конец урла, получаем http://ваш_сайт/category/ и ожидаем увидеть страницу с категориями, а там... 🙄 упс!

Чтобы убрать уже существующие "неправильные" урлы из поиска - Редирект :) или 404 Not Found
Но устраивать редиректы внутри сайта - это плохо.


Тут увы, с вордпрессом раньше работать не доводилось :(

Спасибо за столь развернутые ответы.

Буду читать и вникать.

На данный момент я поменял шаблон и поставил плагин под вордпресс.

Теперь он не будет создавать отдельную страницу с картинкой+переадресовывает с тех страниц на которых картинка на саму тему.

Значит ли это, что проблема с каноническими урлами решена?

Теперь на каждую статью будет один (уникальный) урл.

Осталось решить вывод категорий после удаления части адреса

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий