Amikor Scheibbs 1338-ban a karthauzi szerencsejáték-rendhez került, ők kibővítették Scheibbs várát, mint kiterjedt birtokaik igazgatási központját. A város 1352-es felemelése után megkezdődött az erődítmények építése, amelynek a vár lényeges részét képezte.
A 17. század elején a szerencsejáték-kartazi uradalom alaposan átalakította az épületet négyszárnyú kastéllyá. 1782-ben a kartazi uradalmat feloszlatták, és a kastély ezt követően többször gazdát cserélt. 1867-ben Andreas Töpper kalapácsmester és iparmágnás megszerezte a kastélyt és a várat, és a városháza térre néző, nagy bejárattal és erkéllyel ellátott tekintélyes bővítményt építtetett. Ettől kezdve itt kapott helyet a járásbíróság és a járási közigazgatás. 1953-ban Alsó-Ausztria tartomány szerezte meg a teljes birtokot.
A kastély hangulatos árkádos udvarán gyakran tartanak koncerteket.