Las colinas gemelas de Khandagiri y Udayagiri, también conocidas como Kumargiri y Kumarigiri, son conocidas por sus cuevas de roca que fueron construidas por monjes jainas durante el siglo I y II a.C. También se encuentra el registro lítico de 13 años del reinado del rey Kalinga, Kharavela. Su reina era mecenas de las artes y la artesanía, por eso las esculturas y los diseños de estas cuevas son extraordinarios. Estos registros líticos están tallados en las paredes de Hathi Gumpha o cueva del elefante en Udayagiri y son un ejemplo perfecto de los registros Pali encontrados en la India. El Rani Gumpha, también encontrado en las cuevas Udayagiri, es una visita que vale la pena debido a su enorme patio y a sus frisos escultóricos. Mientras que Khandagiri tiene 15 cuevas y está ubicado a la izquierda, Udayagiri tiene 18 cuevas y está a la derecha. Estas cuevas se encuentran ubicadas a 7 kilómetros de distancia al oeste del centro de la ciudad de Bhubaneshwar.

Otros lugares de interés en Bhubaneswar