Ce mémorial a été érigé en l'honneur de Sepoy Harbhajan Singh, du 23e régiment du Pendjab de l'armée indienne qui a disparu en 1968 alors qu'il conduisait un troupeau de mules depuis son bataillon stationné à Tukla vers Deng Dhukla, deux régions plus loin situées dans le Sikkim oriental.  

L'armée a retrouvé son corps après trois jours de recherches et on pense que c'est Baba lui-même qui les a guidés jusqu'à lui. De nombreux soldats du régiment auraient rapporté plus tard que Baba était apparu dans leurs rêves et leur avait demandé d'ériger un sanctuaire en sa mémoire. Ainsi, un samadhi a été construit et Baba s'y rendrait chaque nuit pour enfiler son uniforme et faire sa ronde. Les sentinelles trouvent souvent ses draps froissés le matin, et ses chaussures préalablement nettoyées sales le soir.  

La conviction de l'armée que Harbhajan est toujours avec eux est si forte que pendant ce qui devrait être son congé annuel, deux soldats emportent son ancien uniforme à Siliguri, puis dans un train à destination de sa ville natale au Pendjab. Même son salaire est toujours envoyé chez lui. On sait que de nombreux soldats s'arrêtent ici et font une rapide prière avant de se rendre en montagne.  

Ce temple se trouve à environ 64 km de Gangtok et à une altitude de 4 000 m. Au fil des ans, le temple est devenu un lieu de pèlerinage visité par un certain nombre de fidèles qui prient devant la grande photo de Harbhajan où ils laissent une bouteille d'eau potable. Il est dit que si vous revenez vous recueillir et que vous buvez ensuite cette eau, vos souhaits seront exaucés.  

Aujourd'hui, les touristes visitent généralement le Nouveau Baba Mandir, puisque l'original érigé autour du bunker de Harbhajan est situé plus haut près de la vallée de Nathang et est très difficile d'accès. Le nouveau temple, construit en 1982, est idéalement situé à la jonction de la route menant au lac Kupup et à la vallée de Nathang, sur la route du lac Menmecho.