- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день всем
Есть несколько сайтов на джумла, на каждом довольно таки четко прописан robots.txt.
Яндекс этот файлик прохавал очень четко. А вот гуг наотрез не хочет его видеть, может что то написал не так?? http://villabest.ru
В индексе Яндекса 122 страницы
В индексе Гугла 1244 страницы
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*write
Disallow: /*Los
Disallow: /*userid
Disallow: /*user
Disallow: /*Vse-ob-yavleniya
Disallow: /*Sovety
Disallow: /*Karta-sayta
Disallow: /*all-ads
Disallow: /*adsmanager
Disallow: /*catid
Disallow: /*Kontakty
В WMT есть инструмент для проверки robots.txt. Если он не видит файл, то, логично, дело не в файле.
Если же Google просто его игнорирует, то да, это он может.
P.S. Вместо того, чтобы показывать сотням ботов неизвестного назначения наличие каких-то папок типа /plugins или /libraries, правильнее бы настроить htaccess и отдавать 404 при запросе непубличных папок.
P.S. Вместо того, чтобы показывать сотням ботов неизвестного назначения наличие каких-то папок типа /plugins или /libraries, правильнее бы настроить htaccess и отдавать 404 при запросе непубличных папок.
А где найти инструкцию или мануал по этому вопросу, дело в том, что не знаю где это искать
Я давно этого не делал, поэтому рад буду сам вспомнить. Попробую вспомнить и заодно пару ссылок нарою.
Есть вопрос: есть ли доступ к настройкам сервера (файл httpd.conf)?
Maxoud добавил 03-12-2010 в 20:23
Нашел старое решение с новым тюнингом. Напишу в выходные, потому что пятница и я прямо сейчас еду на живой dub-step в кафешку.
Нашел старое решение с новым тюнингом. Напишу в выходные, потому что пятница и я прямо сейчас еду на живой dub-step в кафешку.
Ок, спасибо за помощь, жду.
Хех, тюнинг касался только моих узких дел. Так что вещь старая и без тюнинга :)
Разместите файл .htaccess в директориях, которые нужно защитить, и напишите в нем такие строки:
При запросе через HTTP сервер будет выдавать ошибку, а ваша Джумла будет кушать оттуда файлы как надо, ибо она по абсолютному адресу будет идти, а не через HTTP.
Только не закрывайте все подряд, а только служебные папки. Те папки, которые таким образом закроете, можно исключить из robots.txt. Меньше строк = меньше гемора.
Если тут кто-то силен в тонкостях .htaccess, пожалуйста, поправьте меня, если я ошибся в порядке следования deny и allow. Но, вроде нет.
Maxoud,
Спасибо!
Там есть какая-то разница, которую я не могу уловить...
И еще по поводу robots.txt и игнорирование его гуглом:
Пока эксперементрировал с некоторыми вопросами по яндексу, создал копию сайта (и хорошо что открыл только чать страниц), в robots.txt запретил доступ для Google. Пока яндекс чехлился, Google как едреный мотор внес сайт в индекс. Я в ауе.. Снес дубль сайта, добавил его в WMT и там сделал заявку на удаление сайта пока не получил по шее. Ну да ладно, а теперь вопрос: как быть если понадобиться переехать сайту (Я/Г) на новый домен если Google игнорирует Disallow: / ?
robots.txt = зло.
Кроме как серверные средства (или HTTP-хэдеры через PHP) ничего больше не годится.
Четыре простых числа:
301, 302, 403, 404
Бляха муха. как все просто в WP, Возможности меньше, но зато никаких дебильных дублей, нормальные ЧПУ со старта, просто бомба.. Если бы virtmart еще работал была бы просто бомба..
Спасибо за советы....