- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день всем
Есть несколько сайтов на джумла, на каждом довольно таки четко прописан robots.txt.
Яндекс этот файлик прохавал очень четко. А вот гуг наотрез не хочет его видеть, может что то написал не так?? http://villabest.ru
В индексе Яндекса 122 страницы
В индексе Гугла 1244 страницы
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*write
Disallow: /*Los
Disallow: /*userid
Disallow: /*user
Disallow: /*Vse-ob-yavleniya
Disallow: /*Sovety
Disallow: /*Karta-sayta
Disallow: /*all-ads
Disallow: /*adsmanager
Disallow: /*catid
Disallow: /*Kontakty
В WMT есть инструмент для проверки robots.txt. Если он не видит файл, то, логично, дело не в файле.
Если же Google просто его игнорирует, то да, это он может.
P.S. Вместо того, чтобы показывать сотням ботов неизвестного назначения наличие каких-то папок типа /plugins или /libraries, правильнее бы настроить htaccess и отдавать 404 при запросе непубличных папок.
P.S. Вместо того, чтобы показывать сотням ботов неизвестного назначения наличие каких-то папок типа /plugins или /libraries, правильнее бы настроить htaccess и отдавать 404 при запросе непубличных папок.
А где найти инструкцию или мануал по этому вопросу, дело в том, что не знаю где это искать
Я давно этого не делал, поэтому рад буду сам вспомнить. Попробую вспомнить и заодно пару ссылок нарою.
Есть вопрос: есть ли доступ к настройкам сервера (файл httpd.conf)?
Maxoud добавил 03-12-2010 в 20:23
Нашел старое решение с новым тюнингом. Напишу в выходные, потому что пятница и я прямо сейчас еду на живой dub-step в кафешку.
Нашел старое решение с новым тюнингом. Напишу в выходные, потому что пятница и я прямо сейчас еду на живой dub-step в кафешку.
Ок, спасибо за помощь, жду.
Хех, тюнинг касался только моих узких дел. Так что вещь старая и без тюнинга :)
Разместите файл .htaccess в директориях, которые нужно защитить, и напишите в нем такие строки:
При запросе через HTTP сервер будет выдавать ошибку, а ваша Джумла будет кушать оттуда файлы как надо, ибо она по абсолютному адресу будет идти, а не через HTTP.
Только не закрывайте все подряд, а только служебные папки. Те папки, которые таким образом закроете, можно исключить из robots.txt. Меньше строк = меньше гемора.
Если тут кто-то силен в тонкостях .htaccess, пожалуйста, поправьте меня, если я ошибся в порядке следования deny и allow. Но, вроде нет.
Maxoud,
Спасибо!
Там есть какая-то разница, которую я не могу уловить...
И еще по поводу robots.txt и игнорирование его гуглом:
Пока эксперементрировал с некоторыми вопросами по яндексу, создал копию сайта (и хорошо что открыл только чать страниц), в robots.txt запретил доступ для Google. Пока яндекс чехлился, Google как едреный мотор внес сайт в индекс. Я в ауе.. Снес дубль сайта, добавил его в WMT и там сделал заявку на удаление сайта пока не получил по шее. Ну да ладно, а теперь вопрос: как быть если понадобиться переехать сайту (Я/Г) на новый домен если Google игнорирует Disallow: / ?
robots.txt = зло.
Кроме как серверные средства (или HTTP-хэдеры через PHP) ничего больше не годится.
Четыре простых числа:
301, 302, 403, 404
Бляха муха. как все просто в WP, Возможности меньше, но зато никаких дебильных дублей, нормальные ЧПУ со старта, просто бомба.. Если бы virtmart еще работал была бы просто бомба..
Спасибо за советы....