- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Тут есть оишбка?
===
# robots.txt for http://softportal.com
User-Agent: *
Disallow: /cgi-bin/
Disallow: /cutted/
Disallow: /img/
Disallow: /logs/
Disallow: /meta/
Disallow: /member/
Disallow: /top/
Disallow: /demo/
Disallow: /favicon.ico
Disallow: /400.shtml
Disallow: /401.shtml
Disallow: /403.shtml
Disallow: /404.shtml
Disallow: /500.shtml
========
:)
Да, вроде, все в порядке. И что, Yandex/1.01.001 (compatible; Win16; I) лезет на запрещенные этим файлом страницы?
Есть оишбка. В слове User-agent часть agent надо писать с маленькой буквы.
Макс, а где у тебя тут запрещена индексация search.php?
Не обязательно. См. http://www.robotstxt.org/wc/norobots.html :
The file consists of one or more records separated by one or more blank lines (terminated by CR,CR/NL, or NL). Each record contains lines of the form "<field>:<optionalspace><value><optionalspace>". The field name is case insensitive.
wolf
Да, в этом-то и странность, что идет индексировать :(
Точно? А ну, подать сюда Ляпкина-Тяпкина, в смысле Сегаловича и его подчиненных! Будем старые разборки поднимать. :)
Gray
:) Ты прав, нету. Я просто сначала не мог понять как Яндекс лезет в форму и индексирует результаты. Сейчас подправлю robots.txt , спасибо что напомнил :)
Не может робот задавать в форму запросы. Это кто-то на твои результаты поиска сослался, а робот их по ссылке нашел
Не может робот задавать в форму запросы. Это кто-то на твои результаты поиска сослался, а робот их по ссылке нашел
Я это прекрасно понимаю :)
Форму поиска использует всего 2-3 крупных сайта, например MetaPing и SoftSearch ...
Сейчас я вписал search.php в robots.txt и по идее такого больше происходить не должно.
А что касается того, что Яндекс все подряд индексирует, то дело было так.
Сдали мы проект когда-то http://softportal.com/demo/lawyer/
Так вот, через некоторое время стало приходить на тестовое мыло большое количество писем с информацией о регистрации новых пользователей на http://softportal.com/demo/lawyer/ Я тогда посмотрел, в результатах запроса мы стояли выше самого заказчика Адвокат - Онлайн Т.е. народ шел к нам, хотя не должен был вообще видеть этих страниц :) Это было месяца 2 назад... Сейчас вроде этого УРЛа уже нет... И похожих ситуаций было много из-за того, что папка /demo/ индексировалась, хотя не должна была...