- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Кому не трудно посмотрите правильно ли все написал
http://wwe.su/robots.txt
Старался просто сделать его под mediawiki , чтобы спец.страницы не индексировал...а то вдруг я чего и другое закрыл.
Кому не трудно уделите пару минут :o
Ошибка в самом низу. Не разрывайте User-agent и Disallow пустой строкой!
Секция должна идти слитно.
PS Считаю, что такой навороченный роботс не нужен ...
Delgado, kimberlit прав. Да и User-Agent пишется с заглавных.
Host: wwe.su
пустой disallow нужен между ними
и так же есть мнение, что каждый бот читает только свой раздел, если находит, т.е. раздел
яша не примет во внимание
Если нечего запрещать для Яндекса, добавьте пустую строку Disallow:
Кому не трудно посмотрите правильно ли все написал
http://wwe.su/robots.txt
Старался просто сделать его под mediawiki , чтобы спец.страницы не индексировал...а то вдруг я чего и другое закрыл.
Кому не трудно уделите пару минут :o
Касаемо Яндекса, посмотрите здесь.
/robots.txt глазами Яндекса
Ок. Буду разбираться.
Для яндекса нужно запретить тоже самое что и для гугла.
Для яндекса нужно запретить тоже самое что и для гугла.
надо продублировать все disallow какие надо в разделах яши и гугля и вообще всех, которые описаны отдельно от *
Вроде все исправил. в Яндексе и гугле нужное спрятал , для остальных не очень важно.
в Яндексе и гугле нужное спрятал
А где секция Гугла то ???
.. Добавил.
Так ведь его писать ?