- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Мне необходимо все .php фалй запретить, а также страницы для печати.
А не проще ли те страницы, которые надо запретить, сложить в одну папку и запретить ее?
1. Перехватываете запрашиваемый Url
2. Смотрите кто запросил страницу (поисковая машина или человек)
3. Парсите имя страницы / контент страницы на предмет закрытия индексации яндексом или другими поисковиками.
4. Если поисковая машина - то выдаете пустую страницу или страницу с тегом ноиндекс, если человек - то показываете страницу.
В итоге:
1. Работает без отказов.
2. Можно закрыть индексацию как ко всем поисковикам (даже к тем, которые игнорируют роботс.тхт), так и поотдельности, например только яндексу.
Все.
Для этого видимо скрипт необходим? Если да, то как его встроить в форум?
Прошу прощения, если вопросы неккоректные - опыта по этому вопросу не было :)
А непроще ли те страницы, которые надо запретить, сложить в одну папку и запретить ее?
Это же форум :) - у него своя структура + пути. Боюсь, что это невозможно
1. Перехват страницы. Способов разных несколько, наверное самый простой и доступный мод реврайт. Пишите правило пересылки запроса например на страницу close_robots.php в соответствии со структурой каталогов форума.
2. Делаете php скрипт (или на любом другом языке), например такой:
<?
$page = $_SERVER['REQUEST_URI'];
if(strpos($page,".php") and strpos($_SERVER['HTTP_USER_AGENT'],"andex"))
{
echo "Извини, ты Яндекс, страничку я тебе не покажу.";
} else
{
include("$page");
}
?>
"Клоакинг по юзер-агенту" называется. Можно доиграться до того, что весь сайт в бане окажется.
2wolf
В данном случаи это не соответствует действительности.
Если бы мы яндексу выдавали вместо этого страницу со словами "Секс, Раздаем деньги и другие популярные поисковые запросы), то да - бан получили бы. А если жы мы выдаем пустую страницу, или же если яндекс заходит и мы подсовываем ему страницу с вставленным тегом ноиндекс - то ничего нам не грозит.
В моем примере выше написан механизм. Павел, я думаю это понял.
1. Перехват страницы. Способов разных несколько, наверное самый простой и доступный мод реврайт. Пишите правило пересылки запроса например на страницу close_robots.php в соответствии со структурой каталогов форума.
2. Делаете php скрипт (или на любом другом языке), например такой:
<?
$page = $_SERVER['REQUEST_URI'];
if(strpos($page,".php") and strpos($_SERVER['HTTP_USER_AGENT'],"andex"))
{
echo "Извини, ты Яндекс, страничку я тебе не покажу.";
} else
{
include("$page");
}
?>
Спасибо за совет Егор :)
Едиственное - куда я буду этот код размещать? Форум, про который я говорю - имеет далеко не один php файл - во все размещать?
Если бы мы яндексу выдавали вместо этого страницу со словами "Секс, Раздаем деньги и другие популярные поисковые запросы), то да - бан получили бы. А если жы мы выдаем пустую страницу, или же если яндекс заходит и мы подсовываем ему страницу с вставленным тегом ноиндекс - то ничего нам не грозит.
Ну на фига тогда совать пустую страницу с откликом 200? Отдать 404 - и все будет по честному.
А насчет "не соответсвует действительности" - это можно будет потом в переписке с модератором Яндекса эту тему развить. Квалифицированный стук может творить чудеса. ;)
Павел, нет конечно.
Вы немножко не поняли как это работает.
Сначала идет перехват запрашиваемого URL страницы и передается на файл с этим кодом (пункт 1), который и определяет кто пришел и выводит или не выводит страницу.
2) По мимо того, если генерится статика, то как вариант - добавить несколько строк кода в этот механизм, если создаете файл php то автомат вставлять в него тэг ноиндекс.
Вариантов можно придумать множество.
2 wolf
можно и 404 страницу, все, что угодно.
Я описал лиш программный механизм, а что выдавать если способ понравится, автор темы думаю решит сам.
Подобные механизмы у меня стоят на двух сайтах, один из которых работает уже 4ре года, проблем с поисковиками у меня небыло + ко всему этот сайт по популярному запросу на первом месте в яндексе.