Если с точки зрения правильности прописывания директив и расположения секций, то оценить легко. Но что касается правильности указания что закрыть что открыть без осмотра сайта ничего сказать нельзя. Для каждого сайта robots пишется свой и зависит от множества факторов.
— Для начала разберите свой сайт доступным парсером
— Дальше спарсите все странички в выдаче для своего сайта
— Потом сравните что есть в выдаче и нет в результатах парсера. Вот вам первый список кандидатов на добавление директив в этот славный файл.
— Сравните то, что есть в парсере и нет в выдаче. Вот вам список страниц, кандидатов на проверку "не закрыта ли страница случайно от ПС" и поправьте robots.txt
— После этих операций у вас появится список директив применительный конкретно к вашему сайту с вашей структурой.
— Дальше добавьте в директивы прописные истины типа избавления от параметров "?" и страниц авторизации пользователей
— Составьте выборочный список страниц, которые точно должны быть доступны ПС и выборочный список страниц, которые должны быть закрыты.
ortegas: Добавлены обе версии.
Ошибка присутствует и для HTTPS версии сайта.
Они признаны яндексом зеркалами?
При переходе на морду шлет на "Location: /?page_id=177" через 307. Избегайте использования временных редиректов типа 307. Поставьте человеческий 301. Временный редирект подразумевает, что старый сайт вполне можно оставить в индексе.
---------- Добавлено 18.10.2016 в 17:39 ----------
GreeNVet: 1) Если в поисковую выдачу попали сопли: /feed (940 шт); /pages (400) и /tags (около 240) и я закрыл их в robots.txt (кроме /*page), выпадут ли эти страницы после переобхода роботом из ПС или нет? Проблема актуально только для Яндекса. Гугл соплей не затянул в ПС.
Вставляйте подопытные URL и сверяйте ожидаемое с действительным.
GreeNVet: 3) Не нашёл однозначного и толкового ответа относительно надобности закрытия пагинации от ПС для информационного сайта?
Нет однозначного ответа. Как по мне в этом нет ничего плохого, если пагинация настроена верно. Установлены prev и next, стоит каноникал, уникализированы заголовки. Некоторые оптимизаторы просто закрывают всю пагинацию к чертям и подкрепляют свою точку зрения наличием правильно sitemap.xml
Stasmotion: Неужели ни у кого нет мыслей или примеров?
Переиграйте конкурента и сделайте эту форму на каждой карточке товара. Человек зашел на страницу а вы ему сразу и условия доставки и оплаты и кнопку купить.
Можно пойти дальше и тут же посчитайте ему скидку, если он закажет на сумму или сделать доставку удобным для вас способом.
Дмитрий Ефимов: да всё устраивает, просто хочу понять суть проблемы, ибо чувствую что она есть, ну согласитесь, что не должен сайт, которому уже более 10 лет соседствовать в выдаче с доменами ua,lv,kz, и net. неужели никому это не кажется странным?
В вашем случае нет.
Оглянитесь в выдачу. Посмотрите какие там сайты висят http://hdtime.ru/benq-w2000.html. Заодно еще раз изучите сайт, с которого вы любезно скопировали информацию http://benq.ru/product/projector/w2000/ - обратите внимание на полноту информации о продукте - наличие дополнительных характеристик, множества фотографий, картинок и прочего.
А теперь вернитесь на свою страничку и объясните себе "когда я получу этот проектор?", "а есть ли на него гарантия?", он в наличии?, "а как его можно оплатить?" - это всё при том, что довольствоваться придется куцим копипастнутым описанием этого товара.
С технической стороны сайт не блещет, однако грубых нарушений на поверхности не видно. Количество страниц в индексе соответствует реальному. Яндекс правильно советует - развивайте сайт.
ffreest: Все верно пишите, поддомены уже прошлый век.
Так что в итоге не прошлый век?
Создание страниц на каждый город? То есть если у меня 30 услуг, то для 10 городов у меня в индексе появится 300 страниц неполных дубликатов. Ну либо можно отрерайтить каждую услугу в 10 вариантах... Ок... а если городов 20?
Не ужели яндексу не достаточно просто указания в контактах нужного региона и надо именно плодить страницы?
Rataban: Что Вы предлагаете? избегать слова купить в ИМ?
Я наверно не правильно выразился. Я ничего не предлагаю, а скорее негодую на не совершенство ботов, о котором вы говорите. Если "Москву" можно не использовать, то почему бы такую же штуку не применить к ключам типа купить... Но это уже офтоп и отдельная тема для рассуждения.
dzhambul: А теоретически как лучше сделать. Оставить нововведение с rel=canonical или дописать 301 редиректы?
Каноникал + 301. Пользователи попадая на не каноническую страницу могут начать ставить ссылки на неё. Итог: распыляете драгоценные ресурсы. Еще веселее, если у вас есть внутряк на старые не каноничные страницы.
xVOVAx: я когда то вырезал все и приводил весь сайт к виду сайт.ру/товар
Это хорошо, когда товар может быть зафиксирован за определенной категорией. А если товар будет представлен в двух и более категориях? Начнется путаница и польза от вложенного ЧПУ уже не будет так очевидна.
Всегда смущали такие ключи. Причем даже в тайтл, хотя именитые магазины до сих пор юзают их.
Если у тебя коммерческий сайт, то ясен пень у тебя "купить" автоматом прилипает к страницам. Это как регион Москва прописывать для каждой страницы, если у тебя магазин и так в Москве и регион присвоен Москва.
---------- Добавлено 02.06.2016 в 20:30 ----------
Алексей_Меньшиков: "Принтер HP 1050 купить у нас можно выгоднее!"
Не останавливайтесь на достигнутом. Принтер HP (Хьюлетт паккард) | ХП 1050 купить (куплю) у нас в интернет магазине в Москве выгоднее!
Не забудьте, выделить стронгом запросы в начале первого абзаца описания каждой карточки товара в точной словоформе. Между h1 и первым абзацем не должно быть ничего лишнего. И да не меньше 2500 символов на карточку.
А так если серьёзно, то оставьте это дело, пишите для людей. Вот хороший материал по этой теме, там же кстати есть ответ на ваш вопрос http://shakin.ru/seo/mantis-fist-part-2.html начиная с заголовка "Избегайте суррогатных запросов".
Умиляют вопросы про правильность robots.txt
Если с точки зрения правильности прописывания директив и расположения секций, то оценить легко. Но что касается правильности указания что закрыть что открыть без осмотра сайта ничего сказать нельзя. Для каждого сайта robots пишется свой и зависит от множества факторов.
— Для начала разберите свой сайт доступным парсером
— Дальше спарсите все странички в выдаче для своего сайта
— Потом сравните что есть в выдаче и нет в результатах парсера. Вот вам первый список кандидатов на добавление директив в этот славный файл.
— Сравните то, что есть в парсере и нет в выдаче. Вот вам список страниц, кандидатов на проверку "не закрыта ли страница случайно от ПС" и поправьте robots.txt
— После этих операций у вас появится список директив применительный конкретно к вашему сайту с вашей структурой.
— Дальше добавьте в директивы прописные истины типа избавления от параметров "?" и страниц авторизации пользователей
— Составьте выборочный список страниц, которые точно должны быть доступны ПС и выборочный список страниц, которые должны быть закрыты.
— Идете в https://webmaster.yandex.ru/tools/robotstxt/ подгружаете свой роботс и вставляете проверочный список страниц из пункта выше.
— Если все соответствует ожиданиям - поздравляю вы составили правильный роботс.
По сабжу.
host - межсессионная директива. Не важно где она будет использована, хоть в самое начало файла поставьте.
Если параметры в урлах (например в пагинации) не юзаете сразу поставьте Disallow: *?, если юзаете, то пишите дополнительно исключения.
"90% всех коммуникаций в Телеграмм", - удивительная новость!
Извините, до Тирасполя медленно доходят новости.
В чем секрет вашего поста? :)
По делу:
Да, практически все коммуникации по проектам проходят в этом месенджере. Наличие телеграмм это одно из требований к соискателю.
Добавлены обе версии.
Ошибка присутствует и для HTTPS версии сайта.
Они признаны яндексом зеркалами?
При переходе на морду шлет на "Location: /?page_id=177" через 307. Избегайте использования временных редиректов типа 307. Поставьте человеческий 301. Временный редирект подразумевает, что старый сайт вполне можно оставить в индексе.
---------- Добавлено 18.10.2016 в 17:39 ----------
1) Если в поисковую выдачу попали сопли: /feed (940 шт); /pages (400) и /tags (около 240) и я закрыл их в robots.txt (кроме /*page), выпадут ли эти страницы после переобхода роботом из ПС или нет? Проблема актуально только для Яндекса. Гугл соплей не затянул в ПС.
Со временем выпадет
2) Правильно ли у меня прописан роботс?
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /go/
Disallow: /*?
Disallow: /*?*
Disallow: /tag
Disallow: /search
Crawl-delay: 10
Host: сайт
Sitemap: сайт/sitemap.xml
А как это можно определить без знания домена? Проверяйте сами. https://webmaster.yandex.ru/tools/robotstxt/
Вставляйте подопытные URL и сверяйте ожидаемое с действительным.
3) Не нашёл однозначного и толкового ответа относительно надобности закрытия пагинации от ПС для информационного сайта?
Нет однозначного ответа. Как по мне в этом нет ничего плохого, если пагинация настроена верно. Установлены prev и next, стоит каноникал, уникализированы заголовки. Некоторые оптимизаторы просто закрывают всю пагинацию к чертям и подкрепляют свою точку зрения наличием правильно sitemap.xml
Ссылки по теме пагинации
http://seoprofy.ua/blog/optimizaciya-sajtov/pagination-for-seo
А вот доводы в сторону отказа от пагинации.
http://convertmonster.ru/blog/seo-blog/seo-paginacija-kak-postranichnaja-navigacija-vredit-seo/ Однако забавно, что у них же на блоге сделано ровно наоборот и пагинация вполне нормально индексируется.
Неужели ни у кого нет мыслей или примеров?
Переиграйте конкурента и сделайте эту форму на каждой карточке товара. Человек зашел на страницу а вы ему сразу и условия доставки и оплаты и кнопку купить.
Можно пойти дальше и тут же посчитайте ему скидку, если он закажет на сумму или сделать доставку удобным для вас способом.
Silo или для людей? Что приоритетнее?
У вас на странице http://www.vagondom.com/vagondom/products/meditsinskie-punkty.html заголовок "Мобильные медицинские пункты, трассовые медпункты"
В котором на пятом месте стоит продукт "Медицинский пункт на базе БМЗ" и он стационарный. О какой логике и о каком seo (silo = seo?) идет речь?
да всё устраивает, просто хочу понять суть проблемы, ибо чувствую что она есть, ну согласитесь, что не должен сайт, которому уже более 10 лет соседствовать в выдаче с доменами ua,lv,kz, и net.
неужели никому это не кажется странным?
В вашем случае нет.
Оглянитесь в выдачу. Посмотрите какие там сайты висят http://hdtime.ru/benq-w2000.html. Заодно еще раз изучите сайт, с которого вы любезно скопировали информацию http://benq.ru/product/projector/w2000/ - обратите внимание на полноту информации о продукте - наличие дополнительных характеристик, множества фотографий, картинок и прочего.
А теперь вернитесь на свою страничку и объясните себе "когда я получу этот проектор?", "а есть ли на него гарантия?", он в наличии?, "а как его можно оплатить?" - это всё при том, что довольствоваться придется куцим копипастнутым описанием этого товара.
С технической стороны сайт не блещет, однако грубых нарушений на поверхности не видно. Количество страниц в индексе соответствует реальному. Яндекс правильно советует - развивайте сайт.
Все верно пишите, поддомены уже прошлый век.
Так что в итоге не прошлый век?
Создание страниц на каждый город? То есть если у меня 30 услуг, то для 10 городов у меня в индексе появится 300 страниц неполных дубликатов. Ну либо можно отрерайтить каждую услугу в 10 вариантах... Ок... а если городов 20?
Не ужели яндексу не достаточно просто указания в контактах нужного региона и надо именно плодить страницы?
Что Вы предлагаете? избегать слова купить в ИМ?
Я наверно не правильно выразился. Я ничего не предлагаю, а скорее негодую на не совершенство ботов, о котором вы говорите. Если "Москву" можно не использовать, то почему бы такую же штуку не применить к ключам типа купить... Но это уже офтоп и отдельная тема для рассуждения.
А теоретически как лучше сделать. Оставить нововведение с rel=canonical или дописать 301 редиректы?
Каноникал + 301. Пользователи попадая на не каноническую страницу могут начать ставить ссылки на неё. Итог: распыляете драгоценные ресурсы. Еще веселее, если у вас есть внутряк на старые не каноничные страницы.
я когда то вырезал все и приводил весь сайт к виду сайт.ру/товар
Оптимальный вариант для большинства магазинов.
mysite.com/monitors/product/tovar1485.html
Это хорошо, когда товар может быть зафиксирован за определенной категорией. А если товар будет представлен в двух и более категориях? Начнется путаница и польза от вложенного ЧПУ уже не будет так очевидна.
Слово "Купить"
Всегда смущали такие ключи. Причем даже в тайтл, хотя именитые магазины до сих пор юзают их.
Если у тебя коммерческий сайт, то ясен пень у тебя "купить" автоматом прилипает к страницам. Это как регион Москва прописывать для каждой страницы, если у тебя магазин и так в Москве и регион присвоен Москва.
---------- Добавлено 02.06.2016 в 20:30 ----------
"Принтер HP 1050 купить у нас можно выгоднее!"
Не останавливайтесь на достигнутом. Принтер HP (Хьюлетт паккард) | ХП 1050 купить (куплю) у нас в интернет магазине в Москве выгоднее!
Не забудьте, выделить стронгом запросы в начале первого абзаца описания каждой карточки товара в точной словоформе. Между h1 и первым абзацем не должно быть ничего лишнего. И да не меньше 2500 символов на карточку.
А так если серьёзно, то оставьте это дело, пишите для людей. Вот хороший материал по этой теме, там же кстати есть ответ на ваш вопрос http://shakin.ru/seo/mantis-fist-part-2.html начиная с заголовка "Избегайте суррогатных запросов".