Situadas a unos 5 km al oeste de Vidisha y a 13 km de Sanchi, estas cuevas de la época de Gupta son un testimonio de la habilidad de los artesanos para tallar esculturas religiosas tan intrincadas y grandiosas que todavía inspiran asombro estético. Hay 20 cuevas en total y hay que intentar visitar tantas como sea posible. Las cuevas fueron talladas en colinas de arenisca en los siglos IV y V. Se han encontrado inscripciones de Brahmi en las cuevas que han influido en la determinación de su cronología. Las esculturas en relieve, como la iconográfica de Lord Vishnus varaha o la encarnación del jabalí en la Cueva 5, han sido aceptadas como uno de los ejemplos más logrados del arte Gupta. El avatar varaha cuenta la historia de cómo el Señor Vishnu salvó a la Diosa Tierra del demonio Hiranyaksha, que la había secuestrado y llevado al océano profundo. El panel mide unos impresionantes 7x4 metros cuadrados. La escena también ha sido aclamada como una declaración alegórica de los reyes Gupta acerca de su poder para proteger su suelo (tierra) de todos los males. Estos templos rupestres han sido considerados entre los mejores y más tempranos ejemplos de arquitectura religiosa de la India. El santuario que sostiene el shivling es especialmente interesante ya que sus paredes están decoradas con intrincadas tallas mitológicas.

Otros lugares de interés en Sanchi