Kamieniołom w Zimniku ulokowany jest w obrębie masywu granitoidowego Strzegom-Sobótka, stanowiącego część jednostki geologicznej nazywanej blokiem przedsudeckim. Głębinowe skały magmowe tworzące ten masyw występują w dość wąskim pasie (maksymalnie do 12 km szerokości), ciągnącym się na długości prawie 50 km, od północno-zachodnich stoków Ślęży po Jawor, gdzie pas ten wyraźnie się zwęża. Na obszarze tym znajduje się wiele kamieniołomów granitów, a najwieksze z nich zlokalizowane są w zachodniej części masywu, pomiędzy Strzegomiem a Paszowicami. W obrębie masywu wyróżnia się cztery odmiany granitoidów: granodioryty hornbledndowo-biotytowe i granity biotytowe (występujące głównie w zachodniej części masywu) oraz granity dwułyszczykowe i granodioryty biotytowe (występujące w części wschodniej). W kamieniołomie w Zimniku eksploatowano najpowszechniejsza odmianę skalną tego masywu, czyli granodioryty hornblendowo-biotytowe. Są to skały barwy jasnoszarej, zbudowane głównie ze skaleni, kwarcu, biotytu i podrzędnie z hornblendy. Minerały te są widoczne makroskopowo (nieuzbrojonym okiem) i osiągają wielkość do 0,5 cm, tworząc tło skały o strukturze jawno- i średniokrystalicznej. Pojedyncze kryształy skalenia są większe, o rozmiarach dochodzących do 2,5 cm. Takie współwystępowanie minerałów o kontrastowych wielkościach określa się jako strukturę porfirowatą, a minerały wybijające się wielkością z tła, jako porfirokryształy lub fenokryształy. Największe ziarna utworzone są ze skaleni, często o zarysach własnopostaciowych (tabliczkowych), z dobrze widocznymi powierzchniami łupliwości, czyli płaszczyznami, wzdłuż których dochodzi do preferencyjnego pękania minerału. Kwarc, występujący w postaci szarych agregatów, cechuje brak łupliwości i tłusty połysk. Pojedyncze kryształy biotytu mają pokrój blaszkowy, ale w tej skale najczęściej występują w postaci spłaszczonych agregatów wielu blaszek. Biotyt jest łatwo dostrzegalnym i rozpoznawalnym minerałem, gdyż ma barwę czarną, wyraźną łupliwość i niską twardość (łatwo daje się zarysować ostrzem stalowym). Hornblenda może mieć kolor zbliżony do koloru biotytu lecz jest wyraźnie twardsza, a jej kryształy mają pokrój słupkowy. Podrzędną odmianą skalną jest tonalit – skała wyraźnie ciemniejsza i o drobniejszym ziarnie niż opisywany powyżej granodioryt. W jego składzie jest wyraźnie mniej kwarcu a więcej hornblendy i biotytu. Miejscami można również napotkać kolejną odmianę skalną, a mianowicie pegmatyt. Występują one w formie żył lub soczew zbudowanych głównie z kwarcu, skaleni i biotytu. Wyróżnia je jednak wielkość kryształów, gdyż mogą mieć one rozmiary kilku czy nawet kilkunastu centymetrów. Skały te krystalizują w tzw. etapie pomagmowym, ze stopów resztkowych, pozostałych po wykrystalizowaniu głównych odmian skalnych. Są one przedmiotem szczególnego zainteresowania ze strony kolekcjonerów minerałów, gdyż często zawierają pięknie wykształcone i rzadkie minerały takie jak kwarc dymny, fluoryt czy stylbit.
Wiek tych granitoidów określono na ok. 300 mln lat, czyli przełom karbonu i permu. Był to czas bardzo intensywnej działalności magmowej na obszarze obecnego Dolnego Śląska. W tym samym przedziale czasu intrudowały także granity Karkonoszy czy granitoidy strzelińskie, i działało wiele wulkanów, których produkty znaleźć wciąż można w okolicach Wałbrzycha, Lubawki czy Świerzawy.
Granitoidy w tym rejonie wydobywane były od wieków, szczególnie intensywnie wraz z rozwojem rewolucji przemysłowej. Pierwszy kamieniołom działający na masową skalę na tym obszarze został uruchomiony w 1826 r przez Fryderyka Bartscha. Wydobycie granitu ma także w Zimniku wielowiekową tradycję. W materiałach historycznych znaleźć można informację, że w 1840 roku działało tam pięć kamieniołomów.
Geomorfologicznie Zimnik położony jest u podnóża Rogoźnickich Wzgórz, będących częścią zrębu Wzgórz Strzegomskich, które w tej części mają charakter gór wyspowych. Rzeźba tego terenu jest efektem nierównomiernego wietrzenia chemicznego granitów i erozyjnego usuwania tego materiału. Najintensywniej proces ten miał miejsce w paleogenie (66 -23 mln lat temu).
