BlagFurer

BlagFurer
Рейтинг
79
Регистрация
09.12.2009

Умиляют вопросы про правильность robots.txt

Если с точки зрения правильности прописывания директив и расположения секций, то оценить легко. Но что касается правильности указания что закрыть что открыть без осмотра сайта ничего сказать нельзя. Для каждого сайта robots пишется свой и зависит от множества факторов.

— Для начала разберите свой сайт доступным парсером

— Дальше спарсите все странички в выдаче для своего сайта

— Потом сравните что есть в выдаче и нет в результатах парсера. Вот вам первый список кандидатов на добавление директив в этот славный файл.

— Сравните то, что есть в парсере и нет в выдаче. Вот вам список страниц, кандидатов на проверку "не закрыта ли страница случайно от ПС" и поправьте robots.txt

— После этих операций у вас появится список директив применительный конкретно к вашему сайту с вашей структурой.

— Дальше добавьте в директивы прописные истины типа избавления от параметров "?" и страниц авторизации пользователей

— Составьте выборочный список страниц, которые точно должны быть доступны ПС и выборочный список страниц, которые должны быть закрыты.

— Идете в https://webmaster.yandex.ru/tools/robotstxt/ подгружаете свой роботс и вставляете проверочный список страниц из пункта выше.

— Если все соответствует ожиданиям - поздравляю вы составили правильный роботс.

По сабжу.

host - межсессионная директива. Не важно где она будет использована, хоть в самое начало файла поставьте.

Если параметры в урлах (например в пагинации) не юзаете сразу поставьте Disallow: *?, если юзаете, то пишите дополнительно исключения.

sher:
"90% всех коммуникаций в Телеграмм", - удивительная новость!
Извините, до Тирасполя медленно доходят новости.

В чем секрет вашего поста? :)

По делу:

Да, практически все коммуникации по проектам проходят в этом месенджере. Наличие телеграмм это одно из требований к соискателю.

ortegas:
Добавлены обе версии.
Ошибка присутствует и для HTTPS версии сайта.

Они признаны яндексом зеркалами?

При переходе на морду шлет на "Location: /?page_id=177" через 307. Избегайте использования временных редиректов типа 307. Поставьте человеческий 301. Временный редирект подразумевает, что старый сайт вполне можно оставить в индексе.

---------- Добавлено 18.10.2016 в 17:39 ----------

GreeNVet:
1) Если в поисковую выдачу попали сопли: /feed (940 шт); /pages (400) и /tags (около 240) и я закрыл их в robots.txt (кроме /*page), выпадут ли эти страницы после переобхода роботом из ПС или нет? Проблема актуально только для Яндекса. Гугл соплей не затянул в ПС.

Со временем выпадет

GreeNVet:
2) Правильно ли у меня прописан роботс?
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /go/
Disallow: /*?
Disallow: /*?*
Disallow: /tag
Disallow: /search
Crawl-delay: 10
Host: сайт
Sitemap: сайт/sitemap.xml

А как это можно определить без знания домена? Проверяйте сами. https://webmaster.yandex.ru/tools/robotstxt/

Вставляйте подопытные URL и сверяйте ожидаемое с действительным.

GreeNVet:
3) Не нашёл однозначного и толкового ответа относительно надобности закрытия пагинации от ПС для информационного сайта?

Нет однозначного ответа. Как по мне в этом нет ничего плохого, если пагинация настроена верно. Установлены prev и next, стоит каноникал, уникализированы заголовки. Некоторые оптимизаторы просто закрывают всю пагинацию к чертям и подкрепляют свою точку зрения наличием правильно sitemap.xml

Ссылки по теме пагинации

http://seoprofy.ua/blog/optimizaciya-sajtov/pagination-for-seo

А вот доводы в сторону отказа от пагинации.

http://convertmonster.ru/blog/seo-blog/seo-paginacija-kak-postranichnaja-navigacija-vredit-seo/ Однако забавно, что у них же на блоге сделано ровно наоборот и пагинация вполне нормально индексируется.

Stasmotion:
Неужели ни у кого нет мыслей или примеров?

Переиграйте конкурента и сделайте эту форму на каждой карточке товара. Человек зашел на страницу а вы ему сразу и условия доставки и оплаты и кнопку купить.

Можно пойти дальше и тут же посчитайте ему скидку, если он закажет на сумму или сделать доставку удобным для вас способом.

vreditel:
Silo или для людей? Что приоритетнее?

У вас на странице http://www.vagondom.com/vagondom/products/meditsinskie-punkty.html заголовок "Мобильные медицинские пункты, трассовые медпункты"

В котором на пятом месте стоит продукт "Медицинский пункт на базе БМЗ" и он стационарный. О какой логике и о каком seo (silo = seo?) идет речь?

Дмитрий Ефимов:
да всё устраивает, просто хочу понять суть проблемы, ибо чувствую что она есть, ну согласитесь, что не должен сайт, которому уже более 10 лет соседствовать в выдаче с доменами ua,lv,kz, и net.
неужели никому это не кажется странным?

В вашем случае нет.

Оглянитесь в выдачу. Посмотрите какие там сайты висят http://hdtime.ru/benq-w2000.html. Заодно еще раз изучите сайт, с которого вы любезно скопировали информацию http://benq.ru/product/projector/w2000/ - обратите внимание на полноту информации о продукте - наличие дополнительных характеристик, множества фотографий, картинок и прочего.

А теперь вернитесь на свою страничку и объясните себе "когда я получу этот проектор?", "а есть ли на него гарантия?", он в наличии?, "а как его можно оплатить?" - это всё при том, что довольствоваться придется куцим копипастнутым описанием этого товара.

С технической стороны сайт не блещет, однако грубых нарушений на поверхности не видно. Количество страниц в индексе соответствует реальному. Яндекс правильно советует - развивайте сайт.

ffreest:
Все верно пишите, поддомены уже прошлый век.

Так что в итоге не прошлый век?

Создание страниц на каждый город? То есть если у меня 30 услуг, то для 10 городов у меня в индексе появится 300 страниц неполных дубликатов. Ну либо можно отрерайтить каждую услугу в 10 вариантах... Ок... а если городов 20?

Не ужели яндексу не достаточно просто указания в контактах нужного региона и надо именно плодить страницы?

Rataban:
Что Вы предлагаете? избегать слова купить в ИМ?

Я наверно не правильно выразился. Я ничего не предлагаю, а скорее негодую на не совершенство ботов, о котором вы говорите. Если "Москву" можно не использовать, то почему бы такую же штуку не применить к ключам типа купить... Но это уже офтоп и отдельная тема для рассуждения.

dzhambul:
А теоретически как лучше сделать. Оставить нововведение с rel=canonical или дописать 301 редиректы?

Каноникал + 301. Пользователи попадая на не каноническую страницу могут начать ставить ссылки на неё. Итог: распыляете драгоценные ресурсы. Еще веселее, если у вас есть внутряк на старые не каноничные страницы.

xVOVAx:
я когда то вырезал все и приводил весь сайт к виду сайт.ру/товар

Оптимальный вариант для большинства магазинов.

dzhambul:
mysite.com/monitors/product/tovar1485.html

Это хорошо, когда товар может быть зафиксирован за определенной категорией. А если товар будет представлен в двух и более категориях? Начнется путаница и польза от вложенного ЧПУ уже не будет так очевидна.

AlexStep:
Слово "Купить"

Всегда смущали такие ключи. Причем даже в тайтл, хотя именитые магазины до сих пор юзают их.

Если у тебя коммерческий сайт, то ясен пень у тебя "купить" автоматом прилипает к страницам. Это как регион Москва прописывать для каждой страницы, если у тебя магазин и так в Москве и регион присвоен Москва.

---------- Добавлено 02.06.2016 в 20:30 ----------

Алексей_Меньшиков:
"Принтер HP 1050 купить у нас можно выгоднее!"

Не останавливайтесь на достигнутом. Принтер HP (Хьюлетт паккард) | ХП 1050 купить (куплю) у нас в интернет магазине в Москве выгоднее!

Не забудьте, выделить стронгом запросы в начале первого абзаца описания каждой карточки товара в точной словоформе. Между h1 и первым абзацем не должно быть ничего лишнего. И да не меньше 2500 символов на карточку.

А так если серьёзно, то оставьте это дело, пишите для людей. Вот хороший материал по этой теме, там же кстати есть ответ на ваш вопрос http://shakin.ru/seo/mantis-fist-part-2.html начиная с заголовка "Избегайте суррогатных запросов".

Всего: 85