kuffa

да, конечно robots...

Ссылки уже читал.

Смысл вопроса в том - нужно ли отдельно прописывать все Allow: / Disallow: /

для яндекса и для дефолтного бода или же яндекс поймет все Disallow, которые внизу, под User-agent: * прописаны.

User-agent: Yandex

Host: mysite.ru

User-agent: *

Crawl-delay: 10

# Directories

Disallow: /database/

Disallow: /includes/

и т.д.

Т.е. получается, что идеальным вариантом является некая "замануха" (плюс небольшая рекламная компашка по ней) на которую можно привлекать людей (ну... не знаю... флэш-ролик например) плюс регистрашка чтобы начать набирать юзеров. Статьи по теме вешать... как-то скучновато для стартапа. Может создавать "словарь" по тематике? Что еще можно сделать?

Скажите, так правильно robot.txt прописан, чтобы определить основной сайт для яндекса и для гугла? В смысле, в правильном ли месте относительно основного кода стоит User-agent: Yandex и Host: mysite.ru? Нужно ли писать что-либо подобное для Гугла?

User-agent: Yandex
Host: mysite.ru 
User-agent: *
Crawl-delay: 10
# Directories
Disallow: /database/
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /sites/
и так далее.....

Мда. мудя по всему тема вопроса не популярна (.

Прошу связаться со мной. Интересны услуги.

🚬 ))).

Да. Сайт - не вопрос. Вопрос насколько принят подобный метод работы, и имеет ли он вообще смысл. )

думаю, что если вы собираетесь самостоятельно довести этот сайт до ума, лучше всего взять гденибудь нечно вроде подходящей шапки, и попытаться методом замены ее подогнать под свое направление. логотипчик повписывать, чтобы он на края браузера не давил, описание сайта как-то... по человечески вписать. А так... тут вправо-влево элементы смысла двигать нету. лучше не станет. принципиальные изменения нужны.

Может ошибаюсь... ТекстПаттерн вроде работала без. Точно не уверен правда. Давно дело было.

Да, имел в виду именно это. (просто абсолютный адрес). Успокоили, спасибо. ).