紀元前7世紀に遡る、一つの砂岩で彫られているウンダヴァッリ洞窟は、インドのロックカット建築文化遺産の代表例です。洞窟の魅力的なデザインは、古代のビシュワカルマの建築家と寺院の建築家の高度な建築技術について多くを物語っています。この洞窟は、西暦420年から620年にかけてインドの重要な地域を支配した有力なヴィシュヌンクディナ王朝と関係があると言われています。これらの洞窟はグプタ朝の建築の見事な見本でもあり、2階のフロアの詳細設計はチャルキアン様式の建築を反映しています。最大の洞窟は4階建てで、巨大な横たわっているヴィシュヌ神像があります。 この彫刻は花崗岩の一つの岩塊から彫り出したものと言われています。洞窟の１階には、かつてジャイナ教の修道者の家であったことを示すジャイナ教のティールタンカラ（聖人）の彫刻があります。1階の壁は、神話の物語の場面を描いた見事なフレスコ画で覆われています。3階の正面には、ライオンや象の描写を含む多数の彫刻があります。近くには、ブラフマー神、ヴィシュヌ神、シヴァ神に捧げられたユニークな洞窟があります。

アンダバリ洞窟の建築と緑豊かな環境は、ブバネーシュワルのウダヤギリ洞窟を思い出させます。