Zamek w Lipie zbudowany został przypuszczalnie na przełomie XIII i XIV wieku. Przebudowany został w XVII i XIX w. Powszechnie przyjmuje się, że powstał on z inicjatywy przedstawiciela któregoś ze śląskich rodów rycerskich, niektóre źródła jednak wiążą go z zakonem templariuszy. Zachowało się w nim kilka sklepionych pomieszczeń, komin kuchenny w kształcie piramidy, portal renesansowy. W 1821 r. budynek częściowo rozebrano, natomiast 15 lat później właściciel odbudowywał go.  Rezydencja ta zniszczona została podczas II-ej wojny światowej i dotychczas nie została odbudowana.

W Lipie oglądać można jeszcze dwa inne dawne dwory- folwarki, a przy nich pałace. Z niegdysiejszej „Złotej Lipy”, kwitnącej górnictwem rud miedzi, żelaza, srebra, a później wapieni, pozostały dziś – stare piece wapienne, ruiny szubienicy, aw kościele elementy romańskie i nagrobki Zedlitzów. Dużym bogactwem jest niewątpliwie Rezerwat „Wąwóz Lipa” oraz liczne występujące stanowiska rzadkich roślin – m.in. storczyków.