- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Помогите мне пожалуйста с вот такой проблемой.
Мне достался сайт (cinemafour.ru). Я взялся за ним "следить". Нужно его вывести вперед. Но у меня возникла большая проблема - у сайта есть зеркало. (cinemafor.ru). Из-за этого в Яндексе, и в друших поисковиках, проиндексированы только главная страница и страницы новостей (не знаю почему именно они). Все остальные не индексируются. Я начал искать как решить проблему. Оба сайта завязаны а один фтп-шник и одну систему управления (меняешь на одном что-то - меняется все на другом). Файла robots.txt - нет. И я теперь вообще не понимаю, как сделать так, чтобы хотя бы один сервер проиндексировался полностью.
Помогите плиз))
Спасибо.
Создайте robots.txt и сделайте абсолютные ссылки, если это возможно.
я не силен в этом, поэто переспрошу.)
то есть сделать все как написано в Яндексе, только файл robots создать самому?
Викентий добавил 16.05.2008 в 16:38
вот я составил. посмотрите, правильно это или нет?
User-Agent: *
Disallow: http://www.cinemafor.ru
Host: http://www.cinemafour.ru
я не силен в этом, поэто переспрошу.)
то есть сделать все как написано в Яндексе, только файл robots создать самому?
Викентий добавил 16.05.2008 в 16:38
вот я составил. посмотрите, правильно это или нет?
User-Agent: *
Disallow: http://www.cinemafor.ru
Host: http://www.cinemafour.ru
___________________
User-Agent: *
Disallow:
User-Agent: Yandex
Disallow:
Host: www.cinemafour.ru
___________________
И абсолютные ссылки в меню и контенте на http://www.cinemafour.ru.
извините за тупость. Мне никто этого не объяснит, а мне очень интересно.
1)то есть поле disallow - нужно оставлять пустым? я просто думал, там нужно "запрещать".
2)User-Agent: *
Disallow:
User-Agent: Yandex
Disallow:
Host: www.cinemafour.ru
разница между звездочкой и яндексом получается никакая?
3)и вот насчет абсолютных ссылок в меню и контенте на http://www.cinemafour.ru. я вообще не понял. можете чуть-чуть подробнее написать?))
Еще раз извините за наивность..
извините за тупость. Мне никто этого не объяснит, а мне очень интересно.
1)то есть поле disallow - нужно оставлять пустым? я просто думал, там нужно "запрещать".
2)User-Agent: *
Disallow:
User-Agent: Yandex
Disallow:
Host: www.cinemafour.ru
разница между звездочкой и яндексом получается никакая?
3)и вот насчет абсолютных ссылок в меню и контенте на http://www.cinemafour.ru. я вообще не понял. можете чуть-чуть подробнее написать?))
Еще раз извините за наивность..
извините за тупость. Мне никто этого не объяснит, а мне очень интересно.
1)то есть поле disallow - нужно оставлять пустым? я просто думал, там нужно "запрещать".
2)User-Agent: *
Disallow:
User-Agent: Yandex
Disallow:
Host: www.cinemafour.ru
разница между звездочкой и яндексом получается никакая?
3)и вот насчет абсолютных ссылок в меню и контенте на http://www.cinemafour.ru. я вообще не понял. можете чуть-чуть подробнее написать?))
Еще раз извините за наивность..
1) Запрещать там нужно разделы сайта, а не другие сайты. Можете написать, к примеру:
Disallow: /admin/
2) Разница в том, что директиву Host понимает только Яндекс, поэтому ему нужна, в данном случае, отдельная инструкция.
3) Знаете, что такое абсолютные и относительные ссылки? Гугл вам в помощь, если нет.
Если на сайте есть еще какие-нибудь внутренние ссылки, помимо меню, то их тоже сделайте абсолютными.
Все ответы есть здесь: http://robotstxt.org.ru/
спасибо. впринципе все почти понял. только вот еще один вопрос.
когда я узнаю что такое абсолютные ссылки, поменяю их в меню и еще где-то , мне потом с этими ссылками в robots.txt ничего делать не надо.
то есть заменить ссылки и создать вот такой роботс:
User-Agent: Yandex
Disallow:
Host: www.cinemafour.ru
и все?
спасибо большое за помощь.
Вот такой роботс:
___________________
User-Agent: *
Disallow:
User-Agent: Yandex
Disallow:
Host: www.cinemafour.ru
___________________
Потом вообще еще 301 редирект для гугла (как его сделать, уже написано на форуме, ищите).
А вообще не парьтесь, у вас и так домены склеены. :)
Попробуйте добавить www.cinemafor.ru в аддурелку (webmaster.yandex.ru)
Сделайте html-карту сайта и поставьте на нее ссылку с морды или со всех страниц, тогда и флэш-меню не будет преградой для индексации контента.
User-Agent: *
Disallow:
User-Agent: Yandex
Disallow:
Host: www.cinemafour.ru
Я вот добавил такой роботс, а мне в проверялке (http://www.yandex.ru/cgi-bin/test-robots) пишет - "Не найдено ни одного подходящего правила".
А вообще не парьтесь, у вас и так домены склеены.
а что это значит?
Попробуйте добавить www.cinemafor.ru в аддурелку (webmaster.yandex.ru)
А это просто добавить оба сервера на индексацию в поисковик? Я вот где-то неделю назад решился cinemafor.ru тоже добавить. интересен результат)
Сделайте html-карту сайта и поставьте на нее ссылку с морды или со всех страниц, тогда и флэш-меню не будет преградой для индексации контента.
постараюсь врубиться)))
User-Agent: *
Disallow:
User-Agent: Yandex
Disallow:
Host: www.cinemafour.ru
Я вот добавил такой роботс, а мне в проверялке (http://www.yandex.ru/cgi-bin/test-robots) пишет - "Не найдено ни одного подходящего правила".
Вообще это правильный роботс, насколько я знаю.
Видимо так пишет, потому что ничего не запрещено.
Попробуйте изменить инструкцию яндексу на:
User-Agent: Yandex
Аllow: /
Host: www.cinemafour.ru
Для user-agent: * оставьте всё как есть.