- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть новый сайт, залит больше месяца назад, прописан robots.txt
User-agent: *
Disallow: /admin/
Host: www.sait.ru
User-agent: Yandex
Disallow: /admin/
Host: www.sait.ru
А теперь этапы его индексации в yandex
1. В индексе 1 страница sait.ru - 0 кб
2. В индексе все страницы sait.ru/* (без www)
3(сегодня). К п.2 в индекс добавляется страница www.sait.ru - 0 кб (сохраненная копия пуста) с title http://www.sait.ru/
Почему, во-первых, проигнорирована директива Host (еще на двух сайтах то же самое, индексировались в разное время), во-вторых, что за пустые страницы в сохраненной копии? Кто что думает на сей счет?
User-agent: *
Disallow: /admin/
Host: www.sait.ru
User-agent: Yandex
Disallow: /admin/
Host: www.sait.ru
Немного не правильно robots.txt составлен. Сначало, если не ошибаюсь, должны идти дерективы относящиеся к конкретной ПС, а потом уже общая. Во вторых, если для Яндекса указан host, то для всех ПС его не надо указывать, т.е. роботс должен выглядеть так:
User-agent: Yandex
Disallow: /admin/
Host: www.sait.ru
User-agent: *
Disallow: /admin/
И я бы вам не советовал папку admin закрывать через robots (общедоступный файл), лучше эту папку закройте через .htaccess . Иначе это лишняя дырка в безопасности. Хотя и название папки очень распространенное для админки.
1. В индексе 1 страница sait.ru - 0 кб
Это скорее всего произошло в результате какого либо глюка. Не должны в поиске быть страницы в 0 кб.
2. В индексе все страницы sait.ru/* (без www)
Ну, а это ошибка скорее всего зеркальщика
Это скорее всего произошло в результате какого либо глюка. Не должны в поиске быть страницы в 0 кб.
albion, интересный глюк, несколько раз встречал на форуме упоминание о подобном, глюк, имеющий массовое проявление это уже закономерность, причины которой хотелось бы обсудить :)
Ну, а это ошибка, скорее всего зеркальщика
3 сайта, индексировались в разное время, в robots.txt
Host: www.sait.ru
и все проиндексировались sait.ru :) где-то встречал, жаловался человек, что у него
Host: sait.ru а проиндексировался www.sait.ru
sud falke, это глюк, у меня несколько сайтов раззеркалились.
Тоже есть такая праблемка на одном из ресурсов. Сайт присутствует с двмуя главными с www и без :(
причины которой хотелось бы обсудить
А какие причины вы хотите обсудить, если они не известны. Есть предположение, что в момент доступа к сайту, роботу был отдан 200 код с пустой страницей, либо какая либо ошибка (301, 302, 404, 403 и т.д.) и по какой то причине (глюке) Яндекс вывел ее в поиске.
3 сайта, индексировались в разное время, в robots.txt
Host: www.sait.ru
и все проиндексировались sait.ru где-то встречал, жаловался человек, что у него
Host: sait.ru а проиндексировался www.sait.ru
А у меня все последние сайты нормально проиндексировались, даже без роботса. Может где ссылочку поставили с www или в addurl добавили домен с www.
в индекс добавляется страница www.sait.ru - 0 кб (сохраненная копия пуста) с title http://www.sait.ru/
Такая же ситуевина с 2-мя новыми сайтами.
Вивсит три новых и не только с www. и без - вообще одна страница главная в индексе, и хоть убей яшу, а не хочет показывать что есть другие страницы в идексе, хотя робот пробегает и по 10-20 страниц кушает при заходе, но уда они деваются - не понятно.