Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 26.09.2017, 11:50   #21
Miha Kuzmin (KMY)
Просто лучший
 
Аватар для Miha Kuzmin (KMY)
 
Регистрация: 05.05.2003
Адрес: Чехов
Сообщений: 31,745
Репутация: 2122667

По умолчанию Re: Все вопросы по robots.txt

Цитата:
Сообщение от petyapirozhkov Посмотреть сообщение
Почему то так нахер вас послать охото. Никогда за собой не замечал такого на форумах.
Это от чувства вины за собственную тупость. Бывает.

---------- Добавлено 26.09.2017 в 11:17 ----------

Решил добавить, раз я сегодня добрый - лучше каноникал, в данном случае.
Miha Kuzmin (KMY) на форуме   Ответить с цитированием

Реклама
Старый 26.09.2017, 12:23   #22
petyapirozhkov
Студент
 
Регистрация: 16.01.2014
Адрес: rus
Сообщений: 41
Репутация: 10

По умолчанию Re: Все вопросы по robots.txt

Не совсем из-за этого... Пошёл в терминах разбираться, спасибо)
petyapirozhkov вне форума   Ответить с цитированием
Старый 26.09.2017, 12:26   #23
vandamme
Все права запрещены ©
 
Аватар для vandamme
 
Регистрация: 30.11.2008
Сообщений: 11,539
Репутация: 952667

По умолчанию Re: Все вопросы по robots.txt

Цитата:
Сообщение от Miha Kuzmin (KMY) Посмотреть сообщение
лучше каноникал, в данном случае.
каноникал возможно придется прогить, в зависимости от cms, а роботс - бесплатный.
vandamme вне форума   Ответить с цитированием
Старый 26.09.2017, 12:29   #24
Miha Kuzmin (KMY)
Просто лучший
 
Аватар для Miha Kuzmin (KMY)
 
Регистрация: 05.05.2003
Адрес: Чехов
Сообщений: 31,745
Репутация: 2122667

По умолчанию Re: Все вопросы по robots.txt

Цитата:
Сообщение от vandamme Посмотреть сообщение
каноникал возможно придется прогить, в зависимости от cms, а роботс - бесплатный.
Сайты вообще да, иногда приходится прогить.
Miha Kuzmin (KMY) на форуме   Ответить с цитированием
Старый 03.10.2017, 15:11   #25
biz188
Студент
 
Регистрация: 05.01.2016
Сообщений: 8
Репутация: 10

По умолчанию Re: Все вопросы по robots.txt - 2

Здравствуйте!
Подскажите, как закрыть от индекса или перенаправить на 404 страницы вида http://site.ru/2017/09/statya/12345/
Янедкс вебмастер при проверке страницы пишет:
Страница обходится роботом, но отсутствует в поиске.
Было N / a стало 200 OK
Дело в том, что при обходе в яндекс вебмастере появились сотни, таких страниц, в конце цифры,
И все-все на одну скромную статью. Видно кому то она не понравилась..
Сайт на wordpressе
Робот txt такой, вернее часть для яндекса:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-admin
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: /*?*
Disallow: /?s=
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Allow: /wp-content/uploads/
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
Host: site.ru

Sitemap: http://site.ru/sitemap.xml
Sitemap: http://site.ru/sitemap.xml.gz
biz188 вне форума   Ответить с цитированием
Старый 05.10.2017, 18:25   #26
Stanislaw84
Студент
 
Регистрация: 13.05.2016
Сообщений: 12
Репутация: 10

Cool Как порезать параметры Clean-param

Приветствую!

Как порезать конкретные параметры директивой Clean-delay вполне понятно, а как порезать произвольный запрос типа: /?123456789 ?

у меня в индексе вот такие страницы:
/?5702b20229a16f
/?875ed57369b61a

как их запретить через Clean-delay?
Stanislaw84 вне форума   Ответить с цитированием
Старый 05.10.2017, 18:31   #27
Duore
Студент
 
Регистрация: 29.05.2014
Адрес: Russia
Сообщений: 16
Репутация: 9293
Отправить сообщение для Duore с помощью ICQ

По умолчанию Re: Как порезать параметры Clean-param

Вы, видимо, имели в виду Clean-param.
Нет, скорее всего, такие страницы подобным путём не убить. Т.к. Clean-param предполагает наличие определенного параметра. Вот если бы у вас было
/?sth=5702b20229a16f
то Вы могли бы написать Clean-param sth
а так..могу посоветовать поставить редирект всего, что содержит "?" после /
Duore вне форума   Ответить с цитированием
Старый 05.10.2017, 18:42   #28
Miha Kuzmin (KMY)
Просто лучший
 
Аватар для Miha Kuzmin (KMY)
 
Регистрация: 05.05.2003
Адрес: Чехов
Сообщений: 31,745
Репутация: 2122667

По умолчанию Re: Все вопросы по robots.txt - 2

Цитата:
Сообщение от Duore Посмотреть сообщение
а так..могу посоветовать поставить редирект всего, что содержит "?" после /
УмнО!

Правда, он не сказал, откуда взялись такие страницы. Если со ссылок извне, то редирект на работающую страницу самое то! Достойно, так сказать, Начальника Отдела!

p.s. или чините внутренние, или запрет на ? в роботсе, но тут нужно смотреть структуру. Если оно на одной странице, это одно, а если на всех, и в некоторых местах применяются обычные параметры...
Miha Kuzmin (KMY) на форуме   Ответить с цитированием
Старый 06.10.2017, 11:26   #29
Stanislaw84
Студент
 
Регистрация: 13.05.2016
Сообщений: 12
Репутация: 10

По умолчанию Re: Все вопросы по robots.txt - 2

Цитата:
Сообщение от Miha Kuzmin (KMY) Посмотреть сообщение
УмнО!

Правда, он не сказал, откуда взялись такие страницы. Если со ссылок извне, то редирект на работающую страницу самое то! Достойно, так сказать, Начальника Отдела!

p.s. или чините внутренние, или запрет на ? в роботсе, но тут нужно смотреть структуру. Если оно на одной странице, это одно, а если на всех, и в некоторых местах применяются обычные параметры...
Да это страницы появившиеся из-за внешних ссылок. Кто-о прогнал по форумам с метровыми постами с массой ссылок и поставил такие url'ы, они попали в индекс.
Stanislaw84 вне форума   Ответить с цитированием
Старый 06.10.2017, 11:32   #30
Miha Kuzmin (KMY)
Просто лучший
 
Аватар для Miha Kuzmin (KMY)
 
Регистрация: 05.05.2003
Адрес: Чехов
Сообщений: 31,745
Репутация: 2122667

По умолчанию Re: Все вопросы по robots.txt - 2

Цитата:
Сообщение от Stanislaw84 Посмотреть сообщение
Да это страницы появившиеся из-за внешних ссылок.
Вот. Поэтому просто закройте в роботсе. Ну или принудительно отдавайте 404. И ни в коем случае не редирект. Потому что насрать на собственный сайт - это достойно только Руководителя SEO отдела)))))
Miha Kuzmin (KMY) на форуме   Ответить с цитированием
Ответ

Метки
clean , param , robots , robots.txt , seo



Опции темы

Быстрый переход


Регистрация Справка Календарь Поддержка Все разделы прочитаны