Доколкото мернах, правоъгълника е векторна форма, затова го растерезирай и пробвай отново.
(Може да вземеш четката и да цъкнеш върху вектора. То ще те пита дали да растерезираш леъра)
Спрете се бе ... прави се с клипинг path.
Избираш си пак някакъв shape tool, натискаш ALT(Subtract from shape area) и чертаеш формата която искаш да изрязва правоъгълника върху първата фигура.