سوى وغير اسما استثناء لا حرفان،
فإن جاء بعدهما اسمٌ، فهو يحددهما ويخصصهما، فإعرابه مضافٌ إليه
لذلك قل: لا أهتم بسواكَ.
ولا تقل: لا أهتم سوى بك.

قال الشنفرى الأزدي في لاميته:
أَقيموا بَني أُمّي صُدورَ مَطِيَّكُم
فَإِنّي إِلى قَومٍ سِواكُم لَأَمَيلُ

(المصدر)