当年，乾隆皇帝住在灵岩山行宫，而那些词臣随扈则住在虹饮山房。据信吏记载：刘墉曾二度在虹饮山房下榻，与主人徐士元相交默契，这“程子四箴”四个大字，就是刘墉专门赠给徐士元的。这个“程”字，指的是北宋理学家程熙、程灏，两人为亲兄弟，同学于周敦，为北宋理学的奠基者，世称“二程”，。官至崇政殿说书，反对王安石新政，主张“专人欲，存天理”，壁如寡妇再嫁，他认为是大逆不道。为封建统治者辩护。所谓“程子四箴”也就是要求读书人恪守本份，效忠朝廷。
这是虹饮山房的镇园之宝：龙椅。它可不是一把普通的座椅，是当年康熙南巡驻跸灵岩山行宫时的圣驾专座。后来乾隆游木渎时也坐过。它是用千年紫檀精制而成，九条金龙缠绕腾飞，显示出至高无上的帝王之尊。这只龙椅原来一直保存在灵岩山上，战争中论落民间，最近虹饮山房修复时从民间收受而来。
虹饮山房的主人徐士元是位落第秀才，一生不慕功名，惟喜居家读书。徐士元有个嗜酒的癖好，常和朋友在园中诗酒为乐，而且酒量极大，号称“虹饮”又因宅园毗邻虹桥，虹饮山房之名即由此而来。徐士元嗜饮却从不放浪形骸，一生循规蹈矩，尤其对父母孝顺，是远近闻名的大孝子。为讨二老欢心，他专门在园中建造了这座古戏台，每逢春秋佳日，请来戏班子为二老演唱，以怡其心，安享天年。乾隆到木渎，必游虹饮山房，而且一定要在这里看戏。据说，有一次，乾隆看戏看得高兴，还亲自登台，舞剑助兴，这倒真有点与民同乐了。
不过，与乾隆爷一起看戏，一般老百姓可没有这样的待遇，能在这露台之上陪侍皇上看戏的，都是四品以上官员，其他地方官员和乡绅只能在戏台两侧的看楼里观赏，而且这戏台四周都有大内侍卫和官兵把守，一般人等是不得入内的。