- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
ну почитайте как правильно составлять роботс. Куча же руководств в сети с примерами и прочим..
про юзеагент почитайте..
http://webmaster.yandex.ru/faq.xml?id=502499#robotstxt
Ank, Да я уже понял, что там была ошибка, я ее исправил. Спасибо за то что указали на эту ошибку. Вопрос, правда, совсем в другом, и строка Allow в файле robots.txt не может быть причиной, которая не дала возможность гугловкому боту переиндексировать главную страницу и подхватить хотя бы еще одну. Спасибо за терпение
http://slovari.yandex.ru/search.xml?text=%D0%B3%D1%83%D1%80%D1%83
Классная штука словари на Яндексе🚬
сегодня заметил такую странность http://www.yandex.ru/yandsearch?ras=1&text=&site=www.saletime.biz
показывает что проидексировало две страницы с одинаковым урлом.
Уберите пустые строки в /robots.txt - это разделители секций. Почитайте http://robotstxt.org.ru .
Kost, спасибо за замечание, сделаю
так что все идеи, почему индексируется только главная страница в том, что была строка allow "прошу заметить, что для гугла это не ошибка" и есть переносы в строке "гугл тоже ничего не имеет против судя по webmasters/tools".
Доступ к логам есть?
Посмотрите.
Попробуйте сами скачать свой файл какой нить программкой как можно меньше похожей на браузер. Есть у меня подозрение, что внутренние ссылки сделаны... ну я бы так не стал :)
66.249.70.203 - - [24/May/2007:15:27:16 +0300] "GET /salelist.php HTTP/1.0" 200 5038 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.70.203 - - [24/May/2007:15:48:21 +0300] "GET /cardlist.php HTTP/1.0" 200 5395 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.70.203 - - [24/May/2007:16:38:50 +0300] "GET /shoplist.php HTTP/1.0" 200 6652 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.70.203 - - [24/May/2007:16:44:04 +0300] "GET /shoplist.php HTTP/1.0" 200 6652 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.70.203 - - [24/May/2007:16:48:18 +0300] "GET /cardlist.php HTTP/1.0" 200 5405 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Заходит и забирает и другие страницы, как я понимаю.
ну гуль берет. Тогда - ждать.