- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
раз уж тема про robots.txt , то напишу свою хистори небольшую , заодно может и советом поделитись
Вообщем есть саит N1 ( страниц в поиске ( в основном) было 60-65 % , 7 ноября вечером занимался саитом n2( залил на домен 2005 года , на нем до этого была галерея , фотки с универа ( задания , решения и тд и тп , домашние фотки и тд и тп , вобщем фото помойка ))
ближе к ночи стал прописывать роботс.тхт ... и млять =) прописал в роботс.txt адресс sitemap на саит n1 ... спустя два дня все старницы саита n1 вылетели в сопли .. , а саит n2 до сих пор не проиндексировался ( раньше , все влетало в индекс в течении нескольких часов ) ,
заметил свой касяк только вчера вечером =) , теперь сижу жду когда все в индекс влетит ... ( морда в индексе , а все остальное нет .. ) , теперь сижу и задаюсь вопросом " что делать ?"
Пока ответ есть только одни - ждать , но может у кого то есть другие предложения ?
upd спустя час , пол саита ( домен 2005 года) влетело в индекс ..
Z-Style, вот зачем писать, если не знаете, и вводить в заблуждение? Стремление поднять ножку у каждого столба?
nwaker, ИМХО в соответствии с мануалом Google так:
Disallow: /*1001
Disallow: /*1002
...........
Disallow: /*1009
Disallow: /*101
Disallow: /*102
и так все, сколько их у Вас есть.
Сравнение с 4-ногим другом это ваша манера указывать на ошибку?
А по теме, если бы вы были в компетенции этого вопроса, то поправили бы меня со слешем (привык делать урлы страниц со слешем на конце) а не писали бы бред.
Правильно будет так:
Disallow: /script.php?a
Allow: /script.php?a=1$
Allow: /script.php?a=2$
Allow: /script.php?a=3$
Allow: /script.php?a=4$
...
Allow: /script.php?a=1000$
Где написано что больше 35К robots.txt игнорируется?
А если надо разрешить индексировать документы с 1 до 5000 как тогда быть?
Еще вопрос в начале пишется Allow или Disallow или нет разницы?
Где написано что больше 35К robots.txt игнорируется?
А если надо разрешить индексировать документы с 1 до 5000 как тогда быть?
Еще вопрос в начале пишется Allow или Disallow или нет разницы?
Сначала Disallow
Да, и Agressive_Pig тему подсказал.
Сначала Disallow
Откуда такое правило?
Откуда такое правило?
Ну если вы не против, то мне так больше нравится,
хотя на самом деле без разницы :)
По логике вещей начинать лучше все же с Allow да и пример таким образом есть http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156449
По логике вещей начинать лучше все же с Allow да и пример таким образом есть http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156449
Ок, уговорили :)
Первым прописываем Allow.
По логике вещей начинать лучше все же с Allow
От конкретных условий всё зависит. Что вы глупости с порядком придумываете.
вопросик такой есть, не хочется новую тему создавать.
Если я в роботсе указываю дериктории, которые хочу оставить к индексации
перечисляю их череp Allow: /блабла/, в конце беру и ставлю Disallow: / - все остальное в мусорку но главная страница обычно выступает георедиректом вида domain.com/rus - как прописать главную страницу в роботсе ?, т.е. саму domain.com