明朝末年，“娜姆寺”毁于兵火，到公元1646年，选定与“娜姆寺”相望的地方重新修建，遵照五世达赖指示，改白教为黄教。1677年，庙宇落成，派人千里迢迢到北京请皇帝题庙名，乾隆将“那姆”误为“南无”，南无寺名延续至今。