- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Это какие же неотличимы?
Как же я скажу какие если они представляются как обычный IE?
(просто по поведению видно, что это не человек)
Основные можно пересчитать по пальцам одной руки, и придется с ними считаться. В первую очередь - это Яндекс. Спутать их с броузером сложно. А движок придется шлифовать, если поисковые машины вам нужны.
Осталось найти список как они представляются в User-agent и как их писать по поле User-agent в robots.txt. Для меня эта задача оказалась сложной, может кто даст ссылку?
Да robots.txt тут вовсе ни при чем. Все дело в этом tmppass=. Его не нужно отдавать роботам, равно как и параметр rnd=. Самый лучший вариант - перевести сайт на псевдостатику, чтоб было что-то вроде site.com/razdel-10/podrazdel-15/stranitsa-5.html. В этом случае все страницы будут нормально индексироваться.
Поищите на этом форуме посты насчет избавления от сессий (это как раз ваш случай) и про mod_rewrite. Здесь вполне достаточно информации, чтобы разобраться, зачем все это нужно и как от этого избавиться (во всяком случае, мне этой информации было более чем достаточно).
Как же я скажу какие если они представляются как обычный IE?
(просто по поведению видно, что это не человек)
Осталось найти список как они представляются в User-agent и как их писать по поле User-agent в robots.txt. Для меня эта задача оказалась сложной, может кто даст ссылку?
Тема Юзер Агентов специальным топиком проходила здесь. Весь список есть, даже с подвидами.
большую часть роботов нашел, но не нашел каким роботом пользуется go.mail.ru
большую часть роботов нашел, но не нашел каким роботом пользуется go.mail.ru
В принципе, неудивительно :) mail.ru пользует результаты гугла. Что у них с роботом, можно догадатся ;)