robots.txt для форума

Здравствуйте!
Подскажите плиз, как правильно составить robots.txt для форума?
Думаю, что это многих волнует для лучшей нидексации проектов Яндексом...

egor, robots.txt -- это всего-навсего инструкции для роботов поисковых систем. Должен он лежать в самом корне, а не где-нибудь. Типа, - записка на дверях, - "туда ходите, туда не ходите... и приходите почаще, но не реже... , мы дружим только с яндекс ботом, а с остальными мы не дружим..."

Вот, впринцыпе, и простой вопрос.
В гугле наберите -- "инструкции robots.txt" - исчерпывающая информация. Сам ходил проверял.

Maksir,

Цитата:

То-есть я имею в виду. что конкретно можно закрыть а что нет?

egor, вы читайте информацию. Или, что вы хотите, что бы я сам вам ссылку дал? Я же в поиске через гугл ищу и вижу тоже самое, что и вы.

Вот, что первое мне попалось -- http://www.oqbo.ru/read.php?block=3
по запросу -- инструкции robots.txt

Там все в примерах, все по-русски, все разжёванно, осталось в рот положить и сказать - няма-няма!

egor, а это от Яндекса http://help.yandex.ru/webmaster/?id=996567

Вот лови

robots.txt

User-agent: *
Disallow: /forum/admin.php
Disallow: /forum/tools.php
Allow: /
Sitemap: http://www.example.com/sitemap.xml


sitemap.xml

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.example.com/forum/index.php?fid=xxx</loc>
<changefreq>daily</changefreq>
<priority>1.0</priority>
</url>
</urlset>

Для каждого раздела свой блок <url></url>