Става така защото го правиш с инструмента за селекция и задаваш на Feather някаква стойност. Той прави заоблени ъглите, но Feather има друга задача. Feather-a трие навън и навътре - примерно ако си задал 50, 25 трие навън и 25 навътре.
Можеш да го направиш с Rounded Rectangle Tool и когато правиш селекцията, с тези настройки.
А можеш и с Rectangle Marquee Tool, като я направиш селекцията, отиваш в Select > Modify > Smooth и слагаш колко пиксела обло искаш, и след това Select > Modify > Feather и слагаш 0.2 ..