Gülkaya Köyü sınırları içerisinde Koca dere vadisinde bulunan asırlık  Mantar Kaya görenleri hayrete düşürecek kadar ilginç bir oluşumda. Rüzgâr tarafından kayaların daha çok alt kısımlarının oyulması ile oluşmuş şekillerdir. Altı oyulan kayanın üstü şapka şeklini alır. Rüzgarlar sürükledikleri veya savurdukları taneleri yüzeylere çarparak aşındırma yaparlar.

Köyün sınırları içerisinde çok eskiden beri yerleşim olduğunu belgeleyen birçok ören yeri vardır. Kuzey Finerek (Fenarek), Güney Finerek mevkilerinde Taşkale Manazan Mağaraları’nda olduğu gibi insan eli ile oluşturulan mağaralar vardır. Bu mağara evler çok yönlü anbar olarak kullanılmıştır.

Dikdörtgen yatay duruşlu tabakaların bulunduğu alanlarda rüzgar aşındırması ile oluşan kaya şekillerine mantarkaya adı verilir.

Rüzgarlar taşıdığı malzemelerle kayaların alt kısımlarına çarparak aşındırırlar . Sonuçta farklı aşınma sonucu mantara benzeyen kayalar ortaya çıkar. Yurdumuzda daha çok İç Anadolu Bölgesi'nde görülür.

Köyün 10 km kadar batısındaki Sarıkaya yöresinde Kale adı verilen çok sivri tepe üzerinde manastır olduğu sanılan yer bulunmaktadır. Buradaki evlerin en üst katında bir de mezar vardır. Bu manastırın duvarı mavi renk ile boyalıdır.