Ob auf der Höhe gegenüber der Kernstadt zuerst der Ort und später eine Burg entstanden ist oder umgekehrt, wissen wir nicht. Fest steht, dass die Burg um 1270 in den Besitz der Grafen von Waldeck gelangte.
Von ihr ist nur noch der wuchtige runde Turm rechts vom Eingang erhalten. Während des 30jährigen Krieges hatten die Burggebäude sehr gelitten. Sie waren unter anderem Quartier schwedischer Truppen, an die noch das Läuten der „Schwedenglocke“ an der Altwildunger Kirche und mehrere „Schwedenschanzen“ nordwestlich des Ortes erinnern.
Der Waldecker Graf Josias, beigesetzt in der Wildunger Stadtkirche, ließ die Gemäuer der Burg weitgehend abreißen und zwischen 1663 und 1674 den Hauptbau errichten. Fertiggestellt wurde das barocke Schloss erst in den Jahren 1704/1717. 1921 gehört das Schloss nicht mehr dem waldeckischen Fürstenhaus, sondern ging nach Gründung des Freistaates Waldeck in das Eigentum der waldeckischen Gemeinden über, die es als Gemeindezweckverband verwalteten. Während des Dritten Reiches wurde es an die NSDAP verkauft und nach dem Krieg von den Kommunisten genutzt. 1948 wurde das neu gegründete Land Hessen Eigentümerin.
Bis 1980 konnte es grundlegend saniert werden und beherbergt heute sehenswerte Bestände der Staatlichen Kunstsammlungen und einen gastronomischen Betrieb.
