- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем привет. Вот скажите мне, какого фига Google игнорирует правила robots.txt? Он задолбал добавлять страницы в поиск, которые я принудительно закрыл.
Вот мой robots.txt- http://www.danler.com.ua/robots.txt.
Страницы в поиске которых не должно быть:
***/addtocart.php
***/cart/
и тд
Ну какого? :madd:
1) Ни одна строка в вашем robots.txt не закрывает файл
http://www.danler.com.ua/addtocart.php
которые я принудительно закрыл.
Видимо, вы это сделали только мысленно, но в robots.txt запрет не поставили:
Disallow: /cart/
Disallow: /search/
Disallow: /feedbacks/
Disallow: /add/
Disallow: /added/
Disallow: /services/
Disallow: /to_know_the_size_of_shoe/
Disallow: /questionnaire/
Disallow: /register/
Disallow: /regcomplete/
Disallow: /proceed/
Disallow: /proceeded/
Disallow: /private_area/
Disallow: /print/
Disallow: /absent/
Disallow: /smallcontact/
Disallow: /payment/
Disallow: /promo/
Disallow: /news/
Disallow: /admin/
Disallow: /documents/
Disallow: /graphics/
Disallow: /images/
Disallow: /js/
Host: www.danler.com.ua
Sitemap: http://www.danler.com.ua/sitemap.xml
2) Страница http://www.danler.com.ua/cart/ непроиндексирована.
Непонятно, чем вы недовольны.
1) Ни одна строка в вашем robots.txt не закрывает файл
http://www.danler.com.ua/addtocart.php
Видимо, вы это сделали только мысленно, но в robots.txt запрет не поставили:
2) Страница http://www.danler.com.ua/cart/ непроиндексирована.
ни разу не закрывал .php файлы от индексации, ни разу они не попадали в поиск, а тут на тебе :( если уж закрывать придется, то я так полагаю лучше применить правило не ко всем .php файлам, а к некоторым, которые нужно закрыть? или можно закрыть полностью все, но не повлияет ли это на индексацию сайта вообще, т.к. и закроется и index.php
http://www.google.com.ua/search?q=site:danler.com.ua&hl=ru&filter=0 - смотрите внизу, во второй выдаче все же есть, роботс составил, аж потом сайт добавлял в индекс, до этого не было в поиске...можно поставить те ссылки на удаление, но а все же, почему проиндексировал?
я так полагаю лучше применить правило не ко всем .php файлам, а к некоторым, которые нужно закрыть? или можно закрыть полностью все, но не повлияет ли это на индексацию сайта вообще, т.к. и закроется и index.php
Тут все в ваших руках :).
смотрите внизу, во второй выдаче все же есть
Там написан URL страницы. Вместо Title URL сайта и слово из ссылки с проиндексированной страницы на эту (это не Title, взятый с запрещенной страницы).
Короче, робот не скачивал страницу http://www.danler.com.ua/cart/ потому что вы ему это запретили. Сохраненной копии тоже нет. Но робот знает, что такая страница наверное есть, т.к. знает ссылки на нее.
А вот крики "игнорирует" и значки злобы тут совершенно неуместны. Сначала нужно свои руки измерить на кривизну и злиться только на себя.
ну если Яндекс не врет, то должно быть все путем
проверил 2 ссылки
Короче, робот не скачивал страницу http://www.danler.com.ua/cart/ потому что вы ему это запретили. Сохраненной копии тоже нет. Но робот знает, что такая страница наверное есть, т.к. знает ссылки на нее.
А вот крики "игнорирует" и значки злобы тут совершенно неуместны. Сначала нужно свои руки измерить на кривизну и злиться только на себя.
ммм, буду сдержанней, так а все же чего попала во второй индекс, как по мне не должно попадать, или не обращать мне на второй индекс внимания? спасибо