CursedSoul
Registered
Как мога да направя така, че търсачките да не индексират сайта ми която и да е търсачка да не го индексира въобще моля не питайте защо лични причини благодаря.
Премахване на търсачки от сайт
- Автор CursedSoul
- Начална дата
- Статус
diabolic_bg
Registered
CursedSoul каза:
Достатъчно е в хедъра на страниците да напишеш
<meta name="robots" content="noindex, nofollow" />
С тази команда забраняваш на ботовете на всички търсачки да индексират страниците и да проследяват връзките по тях.
diabolic_bg
Registered
Ако питаш мен, най-добре направи и двете, за да си сигурен. Гугъл вдигат много шум за този robots.txt, но не е ясно колко го спазват собствените им роботи.
И в момента в уебмастърските инструменти на Гугъл имам списък от около 2500 адреса, които пише, че са забранени от robots.txt. И това наистина е така - от една година съм ги забранил. Ами като са забранени, баба си ли търсят ботовете да ги сканират и да ми пишат, че съм ги забранил?
И в момента в уебмастърските инструменти на Гугъл имам списък от около 2500 адреса, които пише, че са забранени от robots.txt. И това наистина е така - от една година съм ги забранил. Ами като са забранени, баба си ли търсят ботовете да ги сканират и да ми пишат, че съм ги забранил?
diabolic_bg каза:Ако питаш мен, най-добре направи и двете, за да си сигурен. Гугъл вдигат много шум за този robots.txt, но не е ясно колко го спазват собствените им роботи.
И в момента в уебмастърските инструменти на Гугъл имам списък от около 2500 адреса, които пише, че са забранени от robots.txt. И това наистина е така - от една година съм ги забранил. Ами като са забранени, баба си ли търсят ботовете да ги сканират и да ми пишат, че съм ги забранил?
аз не знам какво си видял но ти гарантирам, че ако сложиш този robots.txt
няма да излизаш в търсачките.
Ако искаш никой да не те сканира се заключва целия сайт само за теб с парола и никой няма да вижда нищо.
Бота минава, гледа, че си го забранил и си отминава.
Може и да индексира нещо но няма да го покаже в резултатите.
diabolic_bg
Registered
Ей ми го текста:
Наистина не изкарват в резултатите тези страници, но защо изобщо ги четат, след като са им забранени? А където е с парола, и да искат не могат.
Приемам всякакви гаранции, но вярвам и на очите си.
А ето ти и малка част от това, което са записали ботчетата въпреки него
Всички забрани целят да се сканират само пренаписаните адреси с разширение .html.
Наистина не изкарват в резултатите тези страници, но защо изобщо ги четат, след като са им забранени? А където е с парола, и да искат не могат.
Приемам всякакви гаранции, но вярвам и на очите си.
StormBreaker
Registered
diabolic_bg каза:
Това в червеното видя ли го? Даже и на български ти е написано. Бота не е нужно да отвори линка, за да разбере че му е забранено.
diabolic_bg
Registered
StormBreaker каза:
Чак до там не съм окьоравял, че да не го видя. Факт е, че бяха изчистени до 0, сега почнаха отново да си преравят старата база данни и ги извадиха отново, а не виждам къде е смисълът да ми казват, че съм забранил нещо, за което аз прекрасно знам. Просто е нелогично и затова се съмнявам, че само robots.txt е достатъчен да ги ограничи.
Това е.
StormBreaker
Registered
diabolic_bg каза:
Щом пише, че му е забранено, значи не ги е пипал. Просто ти съобщава. Нали за това са тия логове. Не за друго.
- Статус