Запрет индексации аяксовых страниц

Загружать всю страницу в обработчике неправильно с точки зрения программирования и производительности.

Нужно вынести скрипт запрашиваемый через AJAX на отдельный URL.

Например сделать для таких скриптов директорию, и её закрывать через роботс:

site.com/ajax/script1.php

site.com/ajax/script2.php

site.com/ajax/script3.php

Оно так и ест по сути.

В роботсе уже месяца 3-4 закрыто и никакого эффекта. Последнее время роботс совсем не играет роли :(

Уберите весь ненужный контент из скрипта, оставьте только возвращаемый результат обработки. Ещё лучше будет возвращать результат в формате JSON. Поисковику не интересны данные в JSON.

Кроме того, при запросе AJAX посылайте какой-нибудь параметер (лучше всего делать через POST), затем в скрипте проверяйте на его наличие. Если этого параметра нет, то выдавайте 404 ошибку. Поисковик сам сбежит с такой "страницы".

Можно попробовать выдавать X-Robots-Tag HTTP заголовок https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag

SandyMan, я на самом деле не программист.

Можете растолковать так, что бы я мог поставить тех задание на программиста.

Заранее благодарен!

Ну, собственно то, что я написал, нормальному программисту будет достаточно.

Нужно сделать скрипт/обработчик AJAX так, чтобы он возвращал только данные в формате JSON. И если этот скрипт не будет получать все нужные параметры, выдавать ошибку 404, а ещё лучше 403