- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Была проблема в роботс.тхт , была строка , это исправили яндекс начал сканировать, а гугл нет. вот нынешний робот из гугл вебмастер:
[spoiler]User-agent: *
Sitemap: http://***/sitemap.xml
# Directories
Disallow: /app/
Disallow: /cgi-bin/
Disallow: /downloader/
Disallow: /errors/
Disallow: /js/
Disallow: /lib/
Disallow: /pkginfo/
Disallow: /report/
Disallow: /scripts/
Disallow: /shell/
Disallow: /skin/
Disallow: /stats/
# Files
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /error_log
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /STATUS.txt[/spoiler]
Файл robots.txt Заблокированные URL Загружено Статус
http://***/robots.txt 665 684 20.01.2013 200 (Успешно)
Была проблема в роботс.тхт , была строка , это исправили яндекс начал сканировать, а гугл нет. вот нынешний робот из гугл вебмастер:
[spoiler]User-agent: *
Sitemap: http://***/sitemap.xml
# Directories
Disallow: /app/
Disallow: /cgi-bin/
Disallow: /downloader/
Disallow: /errors/
Disallow: /js/
Disallow: /lib/
Disallow: /pkginfo/
Disallow: /report/
Disallow: /scripts/
Disallow: /shell/
Disallow: /skin/
Disallow: /stats/
# Files
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /error_log
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /STATUS.txt[/spoiler]
Файл robots.txt Заблокированные URL Загружено Статус
http://***/robots.txt 665 684 20.01.2013 200 (Успешно)
Я Вам отписал в ЛС
Ну вот что показывает в гуглмастер... Четко видно что сайт залочен в роботсе, сейчас роботс такой вид как выше. На сайте был сделан реврайт, убраны дубли страниц, которые генерировались нажатием на фильтры. В это время был запрет на индексацию сайта в роботсе, потом запрет убрали, яндекс стал индексировать, а в гугле вот така картина. В поиске по сайту есть некоторые страницы с нормальным урлом в основном категории и главная, много страниц товара с /index/ , то есть те которые уже по идее не существуют.
Google пытался просканировать эти URL-адреса в течение последних 90 дней, но был заблокирован в файле robots.txt.
Может удалить вообще роботс.тхт? Или сделать весь в роботах сайт для гуглбота открытым, а для яндекса оставить старый, по корому он отлично индексируется??