- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Тут часто обсуждается вопрос о запрете индексации чего-либо всеми роботами или каким-либо из роботов.
На сайте есть карта сайта в формате HTML; но, по рекомендации Google, сделал ее еще и отдельным файлом в формате .txt
Можно ли что-либо прописать в robots.txt или еще где-либо, чтобы указать поисковым роботам на то, что этот файл, любой другой (в т.ч. HTML) - есть и его можно использовать при индексации? Файл находится в корневой папке. Там же, где и index.html, robots.txt и пр.; так как присутствует index.html, понятно, что все содержимое этой папки робот обработать не сможет, если ему не указать адрес.
Если я правильно понял вопрос, есть каталог, который не требует индексации, но отдельный файл все же требует? Насколько я знаю, нет, нельзя.
А можно на эту рекомендацию Гугла посмотреть?
1. В "роботсе" можно только закрыть от индексации.
2. Если на страницу нет ссылок, ее не проиндексируют. Никогда. Даже по личной рекомендации Гугля.
3. Пытаться выдать юзерам и роботам разную информацию = спам, наказуемый различными карательными способами.
4. Не пытайтесь никого перехитрить, просто поставьте ссылку с главной "карта сайта".
MaulNet, как сказать рекомендация. Просто я не зарегистрирован в Google и, честно говоря, пока не входит это в мои планы. Так как я уже заколебался записывать и помнить все эти логины с паролями.
Карту сайта можно создавать в различных форматах и отдавать ее Google для индексации - как я понял описание, для этого нужно ввести логин/пароль и адрес, где находится файл карты сайта. Найти инфу об этом можно на сайте Google в разделе рекомендаций для webmaster'ов.
6666, ясно. карта у меня есть в HTML и на нее стоит ссылка на сайте (правда через IMG и ALT). Я думаю, что может поисковикам удобнее отдать этот самый .txt-файл, где указаны все файлы на сервере и все, а не разбирать HTML, чтобы определить, чтобы еще проиндексировать. Можно, конечно, всем ссылку на этот .txt дать через сайт, но юзерам-то как раз он не нужен, так как там чисто адреса страниц сайта стоят и все.