Поставяне на robots.txt

[tony_nikolov]

Искам да си поставя robots.txt във форума. Какво трябва да има на тази страница?!
Говоря по-конкретно за съобщаване на търсачките за sitemap.xml.
Знам, че в него трябва има и някакви забрани на разни директории, които май се слагаха с Disallow:
Моля ви кажете ми как да оформя точно този файл.
Благодаря предварително.

 

[rivo]

User-agent: *
Allow: /

Disallow: /dir/

Sitemap: http://forum.com/sitemap.xml

 

[tony_nikolov]

Така добре ли е както съм го оформил?!

User-agent: *
Disallow: /forum.com/admin/
Disallow: /forum.com/db/
Disallow: /forum.com/images/
Disallow: /forum.com/includes/
Disallow: /forum.com/language/
Disallow: /forum.com/profile.php
Disallow: /forum.com/groupcp.php
Disallow: /forum.com/memberlist.php
Disallow: /forum.com/login.php
Disallow: /forum.com/modcp.php
Disallow: /forum.com/posting.php
Disallow: /forum.com/privmsg.php
Disallow: /forum.com/search.php
Sitemap: http://akademik-sofia.com/forum.com/sitemap.php
Sitemap: http://akademik-sofia.com/forum.com/sitemap.xml

Нали така позволявам на всички роботи да обхождат форума, с изключение на забранените директории?!

 

[tony_nikolov]

И как да накарам бота на Facebook да се появи във форума. По едно време често ни навестяваше, но нещо напоследък се загуби.

 

[rivo]

Трябва да махнеш линка със страницата на sitemap.php, не съм 100% сигурен