Sitemap, карта сайта, robots.txt - нужны ответы!

M1
На сайте с 07.02.2009
Offline
105
692

Здраствуйте, решил создать сайтик, для себя так сказать. Столкнулся с такими понятиями как Sitemap, карта сайта, robots.txt. Почитал разную документацию, которая касаеться гугла и яндекса, но не нашел всего необходимого, в свете этого есть вопросы, буду очень благодарен за подсказки.

1. Как правильно создать файл Sitemap - с помощью чего точнее, и как часто нужно его редактировать?

2. Карта сайта. Сайт обыкновенный варез - только более узкого направления - а точнее видео. Сделан на дле. Кто подскажет, где почитать инфу по созданию карты сайта.

3. Robots.txt. Аналогично читал советы, но как и что прописывать в этом файле ненашел. Нужно ли прописывать что-то изначально для нулевого сайта, если не прописать будет ли это критичным. Ну и так далее.

MadTomas
На сайте с 26.12.2007
Offline
109
#1

А Вы поиском пробовали пользоваться ?

Только за сегодня уже 10-я тема про sitemap ...

Про роботс - вообще тьма написана ... В Яндекс вебмастер ходить читать не пробовали ?

1. Поиск в Яндексе "генератор файла sitemap" или в лоб: site administrator (seo monitor)

3. http://help.yandex.ru/webmaster/?id=996567

Для сайтов о кредитах - отличная партнерская программа (http://cityads.ru/?ref=f020ed52)!!! Качественный контент для ваших сайтов (http://seonest.ru/?pid=68), однозначно!
Z
На сайте с 27.05.2009
Offline
32
#2
mpak17:
1. Как правильно создать файл Sitemap - с помощью чего точнее, и как часто нужно его редактировать?
3. Robots.txt. Аналогично читал советы, но как и что прописывать в этом файле ненашел. Нужно ли прописывать что-то изначально для нулевого сайта, если не прописать будет ли это критичным. Ну и так далее.

1. Я для создания карты сайта использую бесплатную программу GsiteCrawler. Можете ее скачать отсюда: http://gsitecrawler.com/en/download/

2. Пишите как обычно:

User-agent: *

Disallow: если хотите что-то запретить

Host: www.site.ru

Sitemap: http://www.site.ru/sitemap.xml

M1
На сайте с 07.02.2009
Offline
105
#3

Спасибо всем за ответы. Тем то полно, но выудить из них полезную информацию не всегда возможно.

По поводу роботс, как прописывать я понял, я хотел узнтаь совета именно по поводу того, что лучше всего запретить на стандартном сайте дле. Вот что приблезительно нашел


User-agent: *
Disallow: /admin/
Disallow: /map/
Disallow: /ad/search/
Disallow: /cat/search/
Disallow: /user/
Disallow: /engine/
Disallow: /index.php?do=
Disallow: /*?PHPSESSID
Disallow: /*print*.html
Host: www.shantry.ru

User-agent: Yandex
Disallow: /admin/
Disallow: /map/
Disallow: /ad/search/
Disallow: /cat/search/
Disallow: /user/
Disallow: /engine/
Disallow: /index.php?do=
Disallow: /*?PHPSESSID
Disallow: /*print*.html
Host: www.shаntry.ru

User-agent: googlebot
Disallow: /admin/
Disallow: /map/
Disallow: /ad/search/
Disallow: /cat/search/
Disallow: /user/
Disallow: /engine/
Disallow: /index.php?do=
Disallow: /*?PHPSESSID
Disallow: /*print*.html
Host: www.shаntry.ru

Отсюда вопрос, стоит это все прописывать, или что-то лишнее. Нужно ли еще что-то добавить к запрещению, кроме этого?

[Удален]
#4
mpak17:
Здраствуйте, решил создать сайтик, для себя так сказать. Столкнулся с такими понятиями как Sitemap, карта сайта, robots.txt. Почитал разную документацию, которая касаеться гугла и яндекса, но не нашел всего необходимого, в свете этого есть вопросы, буду очень благодарен за подсказки.

1. Как правильно создать файл Sitemap - с помощью чего точнее, и как часто нужно его редактировать?
2. Карта сайта. Сайт обыкновенный варез - только более узкого направления - а точнее видео. Сделан на дле. Кто подскажет, где почитать инфу по созданию карты сайта.
3. Robots.txt. Аналогично читал советы, но как и что прописывать в этом файле ненашел. Нужно ли прописывать что-то изначально для нулевого сайта, если не прописать будет ли это критичным. Ну и так далее.

1. Я делал sitemap ручками (на сайте всего 17 страниц нужно было в индекс загнать, а всего было около 500).

Лезешь в блокнот, пишешь всё по стандарту, например:

<?xml version="1.0" encoding="UTF-8"?>

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

<url>

<loc>http://www.site.ru/stranica.html</loc>

</url>

<url>

<loc>http://www.site.ru/ischo-stranica.html</loc>

</url>

</urlset>

Вот в результате этой штуки в sitemap 2 урл

http://www.site.ru/stranica.html и http://www.site.ru/ischo-stranica.html

потом нажимаешь сохранить как. кодировку не забудь в utf-8 поменять.

2. sitemap = карта сайта

3. robots.txt (именно так, нижним регистром!)

-создаешь простым блокнотом

-помещаешь в корень сайта

-если ничего запрещать на сайте к индексации не надо, просто напиши:

User-agent: *

Disallow:

всё.

По пункту 1. Читай дополнительно: http://ru.wikipedia.org/wiki/Sitemaps

По пункту 3. Читай дополнительно: http://ru.wikipedia.org/wiki/Robots.txt

а также ссылки с них!

Дополнительно:

Убери Host во всех блоках кроме Яндекса. Всё равно только Яндекс поймёт эту директиву. и ещё чёрточку перед www)))

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий