- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу

VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева

Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
заметил, что яндекс проиндексировал страницы, которые запрещены к индексации.
яндекс игнорирует Disallow:/search
просто походы робота по таким ссылкам поиска - сильно грузят сервер ... что вызывает довольно высокую нагрузку и заторможеный ответ сервера ...
или мне лучше программного проверять по юзер агенту робота и не выполнять тяжёлые запросы к базе ?
то есть пустую страницу давать ...
Можно взглянуть на пример?
отправил в личку ...
заметил, что яндекс проиндексировал страницы, которые запрещены к индексации.
яндекс игнорирует Disallow:/search
Правильно писать через пробел Disallow: /search
Вы проверяли, как Яндекс видит Ваш robots.txt?
http://www.yandex.ru/cgi-bin/test-robots?host=www.site.com
Запрещена индексация всех URL, начинающихся с указанных префиксов:
/search
хотя написано без пробела.
а обязательно пробел и слеш ставить ?
может потому, что без слеша было сначала...
FreeMarket, слеш обязательно, пробел тоже обычно ставят.
Как в этом случае поступит робот?
User-agent: Yandex
Disallow: john
По стандарту, он не будет индексировать файл с именем “john” и директорию с именем “john”. Для указания только директории надо писать так:
User-agent: Yandex
Disallow: /john/
взято с http://robotstxt.org.ru/RobotstxtErrors
возможно что из за того что не было пробела ... но и это мне кажется сомнительно
Правильно писать через пробел Disallow: /search
Оказалось, что в стандарте допускается отсутствие пробела
"<field>:<optionalspace><value><optionalspace>".
А вот если раньше не было слеша впереди, тогда конечно.
я же привёл довод того, что слеш лишь указывает на папку. если слеша нету, то это может быть как файл search.php так и просто папка search, робот не должен индексировать получается всё что содержит слово search.
или слеш в начале говорит только о том что индексация с корня то есть
site.com/search запрещена, а если у меня site.com/dir/search запретит ли
директива Disallow: /seach
а если у меня site.com/dir/search запретит ли
директива Disallow: /seach
нет, читайте стандарты, тема пошла в "вопросы от новичков"