V místech zámku stával gotický vodní královský hrad, jehož hlavní obrannou linii tvořila řeka Morava a její ramena. Doložen rokem 1286 (tehdy byl nazýván i Stenice). Od 14. století často dáván do zástavy.
Dnes je zde městský úřad.