богоносец

богоносец
Рейтинг
777
Регистрация
30.01.2007
DiAksID:
широкая задача поисковой оптимизация контента через AJAX

Не контента, а сайта.

И не через AJAX (фактически JS), а через возможности клиента, вообще говоря. Например Яндекс.Почта пару лет использовала xslt на клиенте, памятник сему.

И показанные в теме примеры являются скорее образцом экстремизма (ну типа легко убрать всё повторяющееся, значит убираем всё). Может быть правильнее было бы не везде все менюшки от бота скрывать, а только часть... я бы на морде всё оставил.

А что значит «в индекс не попадет»?

Легко проверить можно поиск текста. Со ссылками всё уже не так легко... нахождение акцептора по тексту JS-ссылки — это только часть того, что нужно проверять про ссылки (но спамерюгам даже это лень).

<script type="text/javascript">
$(document).ready(function()
{
$("#sidebar").load('inc/sidebar.inc');
});
</script>

А если еще и /inc в robots.txt зарыть и ПС ссылки не увидит, так это вообще супер-бонус!

Ну можете и так попробовать (в примерах с первой страницы темы такого нету. Скрипты, располагавшиеся в HTML-коде выполнялись. Смысл именно в выносе их в отдельный файл, прикрытый в роботсе).

И помните, что вы в любом случае лишь экспериментируете... поэтому не стесняйтесь проверять через несколько недель после индексации — что ищется, а что нет.

Надо провести эксперименты в разных браузерах: насколько дольше они рисуют неправильный код... им же приходится как-то интерпретировать явную неправильность (FF когда-то уже уведомлял об чём-то таком).

Экономить надо на количестве HTTP-обращений, а не на мелочах в пределах каждого из них.

И сохраните файлы с кавычками, а то потом у вас может возникнуть проблема: как вернуть кавычки?

LEOnidUKG:
если ПС отдаётся одно, а юзеру другое, то это называет клоакинг.

Если ПС понимает только некоторую часть того, что понимает браузер, то это называется экономией ресурсов, необходимых для и так слишком затратного поиска. А отдаётся и ПС, и юзеру одно и то же.

Тема вообще была о другом, об использовании возможностей клиента. Типа есть на фрихостах 237 доров по 456 HTML-страниц каждый. И надо быстро сменить их дизайн... не заставляя ПС это всё переиндексить.

Bytexpert:
Т.е. если я положу все закрытые ссылки в тегах A в JavaScript-файл, который потом закрою в robots.txt, то ПС их увидеть не должна и таким образом прятать ссылки через эмуляцию тега A другими тегами через JavaScript (как это описано было в статье) - это уже излишестово.

Никто не сможет вам гарантировать неизменность этого всего... а эмуляция <a> другими тегами — бесполезна, если ботом выполняется JS

И не помню экспериментов, которые могли бы показать, что ПС не видит ссылку.JS (проще проверить, что не ищет текст). Для каких-то нужд типа борьбы со спамом ПС это может быть прямо и не нужно...

DiAksID:
главное, что бы система сама не плодила адреса дублей и не подсовывала их ботам, это необходимое и достаточное условие защиты от дублирования контента

Нет, это не более чем: система сама не плодит дублей и не подсовывает их ботам. Но их возможность остаётся. Да, именно возможность. И при первой же оплошности админа... дубли заполняют индекс.

предположение, что "завистники и зложелатели" начнут тратить время и ресурсы специально засовывая в индекс ПС какие-то особо хитрож*пые ссылки на "мой любимый СДЛ" суть не более чем оторванная от реальности паранойя...

Ну а потом деяния таких параноиков почему-то ищутся (не-параноикам ещё можно свято верить, что никто из конкурентов не стучит на их подопечного никогда).

jondeer:
Конечно, избавление от дублей - не было первостепенной задачей при разработке ЧПУ. Но найти разделы, создающие дубли, мне найти не удалось.

А подсказка там уже проиндексирована, добавляем любой параметр типа http://www.demo.2movietime.ru/index.php?mode=statistics&дубль-200-ОК, а делать на серваке проверку всех параметров + их единственно правильную последовательность... это долго.

DiAksID:
вы не уловили засаду в поставленной задаче 😂 на самом деле скрытый посыл звучит как то так "покажите сайт, который гарантированно не выдаст одинаковый контент на нескольких выдуманных кем-то вариантов урла"
Не скрытый посыл, а так прямо и сказанный: покажите хотя бы сайтег, на котором нельзя создать дубля.

Вот программеры даже понимают что именно надо, но не хотят сделать. И начинается: а вот мы вам рел=каноникал, мета-ноуиндекс... вместо исправления причины. Ну им же не важно, что бот делает ограниченное количество обращений к сайту, а админ обычно криворукий/шыбкограмотный не сеошник.

Ну и нет CMS с удобными средствами сокрытия любого блока. И лёгкой возможностью любых сеошных игр...

Bytexpert:
Т.е. если я скрипты с инклюдами

Подразумевались клиентские скрипты (JS. А серверных ПС увидеть не может).

В плясках с бубном есть <script src="js/alljs.js"

Disallow: /js/ # Гугл умеет выполнять JS, если его не попросить в роботсе в это всё не заглядывать.

Если будете списывать ссылочную структуру с donative, то добавьте в адрес &filter=0 при просмотре списка проиндексированных Гуглём.

/ru/forum/215449

но можно это же делать не так... чтобы и Гугл этого всего не видел.

Ссылки <noindex> не закрывает, только их текст.

Bytexpert:
посетителю отображается только основной текст, а все оформление сайта будет подгружено и показано позже, может возникнуть некий визуальный дискомфорт

А это зависит от того, как вы сверстаете... т.е. блок с основным контентом можно стилями... сделать так, чтобы он не дёргался в процессе загрузки меню/шапки/футера.

Bytexpert:
бот ПС не увидит (?) ссылки в меню, футере и сайдбаре, т.к. они лежат в скрипте и добавляются на страницу позднее.

... если закроете скрипты в robots.txt

В том, что не увидит повторяющийся текст ссылок... минуса нет. Но никто не запрещает вам в HTML-коде добавлять некоторые ссылки из меню в <div id="menu"></div> (выборочная перелинковка, и на donative.ru такое есть), а скриптом в этот div вставится меню, и покажутся все сцылки (включая и те, что видны боту).

Bytexpert:
где почитать как правильно внутреннюю структуру сайта создать

А это бесполезно... оно изменится завтра же. Но оперировать ПС будут чем-то на ступеньку проще логики создателей сайтов... типа так http://blog.rajtsin.com/2008/11/27/poiskovye-klastery-i-novye-filtry-ot-yandeksa/ но конкретно этому тексту уже столько лет, что не следует считать его истиной. Это именно пример различия в логике вебмастера и программера ПС (и не путайте структуру сайта со структурой урлов).

mark2011:
Что касается поисковиков - они сейчас такое умеют, что Вам и не снилось. А то, о чём Вы здесь толкуете, осталось действительно в прошлом. Я бы даже сказал, за пределами 21 века.

По приведённым на первой странице ссылкам... покажите здесь конкретно что могут поисковики. Могут ли они искать дублирующийся там по сайту контент, рисуемый скриптом? Если бурундуковских примеров мало, то вот ещё совсем пустой документ для поисковиков. Может они ещё и валидность проиндексированного различают?

Им просто не надо тратить ресурсы на исполнение всего того, во что верует паства. В надёжно прозомбированной массе мозгов создателей сайтов нет почти ничего окромя Content-Type: text/html

http://erum.ru/ Content-Type: text/xml;

DiAksID:
Сильные команды уже реализовали всё необходимое (и более того)...

Ну покажите хотя бы сайтег, на котором нельзя создать дубля... не говоря уж об избавлении ПС от частичного дублирования. Создателям CMS это всё нах не надо, они, с упорством идейных... готовы доказывать, что и ПС это не надо. Но... см название форума.

Вы это всё тоже успешно вызубрили? И если тоже дескрипшном продвигаете :) то почему бы не посчитать его повнимательнее? И что такое анкорная связка?.. ТС собрался это продавать, а ему тут никто не объяснил — что это такое.

Вернёмся к проблеме ТС:

Как подопечному быть хорошо видимым по списку очень похожих запросов?.. и не попасться под:

На Вашем сайте были проиндексированы страницы, содержащие списки
поисковых запросов. В силу того, что по многим запросам Яндекс не может
корректно отранжировать такие страницы...
Ну можно конечно же их не писать... но тогда и релевантности по ним не ждите.

Ну вы поняли, чтобы эти дебилы что-то делали, их надо громко обсерать. Возможность есть не только тут.

Misha_Stalker:
Юкозу от Яндекса достался далеко не самый бесполезный артефакт, и Юкоз был, конечно, вправе распорядиться этим артефактом по своему усмотрению, кто же спорит.

Яндекс козёл (выкинул бы ещё свою почту, с похожей посещалкой), теперь пиарит свой копипаст:

— Установив Яндекс.браузер, вы получите не только современный и удобный браузер, но и будете просматривать сайты Narod.Ru без рекламы!
Всего: 13677