Когато имам robots.txt нужно ли е да имам ........ ?

[Tares]

когато имам мета таг <meta name="robots" content="all,index,follow" />

robots.txt е безполезен нали ?

 

[Admin]

когато имам мета таг <meta name="robots" content="all,index,follow" />

robots.txt е безполезен нали ?

Обратното.

 

[Tares]

значи мета тага да го трия

иначе това ми е robots.txt надявам се че е правилен

User-agent: Googlebot
User-agent: Yahoobot
Disallow: /forum/adm/
Disallow: /forum/docs/
Disallow: /forum/cache
Disallow: /forum/files
Disallow: /forum/language/
Disallow: /forum/config.php
Disallow: /forum/download.php
Disallow: /forum/memberlist.php
Disallow: /forum/search.php
Disallow: /forum/login.php
Disallow: /forum/modcp.php
Disallow: /forum/privmsg.php
Disallow: /forum/ucp.php
Disallow: /forum/mcp.php
Disallow: /forum/posting.php
Disallow: /forum/viewtopic.php
Disallow: /forum/viewforum.php
Disallow: /forum/search.php

 

[Admin]

Защо всичко това е Disallow.

Искаш google да не показва сайта ти ли?

Нищо не разбрах.
С този robots.txt забраняваш на търсачките да те индексират.
Това значи, че не искаш никой да влиза от гоогле?

Защо просто не оставиш robots.txt празен.
така ще покажеш на търсачките, че са свободни да дават сайта ти.

 

[Tares]

еми не искам да индексират примерно posting.php

защото няма смисъл искам само темите в форума ми ако бъркам нещо с тоя robots.txt поправи ме а й нали в една тема бях ви питал защо гоогле индексира по толкова странен начин линковете ми може и да е от това.

 

[Admin]

еми не искам да индексират примерно posting.php

защото няма смисъл искам само темите в форума ми ако бъркам нещо с тоя robots.txt поправи ме а й нали в една тема бях ви питал защо гоогле индексира по толкова странен начин линковете ми може и да е от това.

ама ти си забранил и
Disallow: /forum/viewtopic.php
Disallow: /forum/viewforum.php

тоест забранил си да се раглеьдат форумите и топиците....

Защо?

 

[Tares]

моя грешка ще ги позволя нещо друго което трябва да пипам по robota ?

сега изглежда така мисля,че няма нищо нередно което да пречи да индексира темите и форума ми

User-agent: Googlebot
User-agent: Yahoobot
Disallow: /forum/adm/
Disallow: /forum/docs/
Disallow: /forum/cache
Disallow: /forum/files
Disallow: /forum/language/
Disallow: /forum/config.php
Disallow: /forum/download.php
Disallow: /forum/memberlist.php
Disallow: /forum/search.php
Disallow: /forum/privmsg.php
Disallow: /forum/mcp.php
Disallow: /forum/posting.php
Disallow: /forum/search.php

 

[Tares]

след като махнах мета тага и някой ограничения от robots.txt google ме постави от 8мо на 4то место сега чакам да стана на първо

 

[qNuZoV]

Ето ти един robots.txt

User-agent: *
Disallow: /groupcp.php
Disallow: /login.php
Disallow: /modcp.php
Disallow: /privmsg.php
Disallow: /search.php