Otro templo popular en Siddhpur es el Templo Rudra Mahalaya, también conocido como el Templo Rudramal. Este templo fue construido en el siglo X por el rey Mularaja. Según las leyendas, probablemente fue reconstruido por Siddharaja Jayasimha en el siglo XII. Se dice que el templo es el primero y más grande de Chalukyan. Una estructura de varios pisos, tiene 11 santuarios subsidiarios que están dedicados a Ekadasa Rudras. Las excavaciones han revelado algunos de estos santuarios subsidiarios, una torana, dos porches y cuatro pilares de los kapilli del templo principal. Al lado se encontraron columnas gigantescas bellamente talladas, enormes arquitrabes y arcos de torana. Los pilares y el toran son los restos del templo actual. Las tallas elaboradas y detalladas en ellas son testimonio del rico pasado de los gobernantes de Siddhpur.