早在书院成立之前，初唐四杰之一王勃、晚唐大诗人李商隐就曾来此地游历生活。金堂书院时代，人文蔚起，一大批举世闻名的才俊志士：北宋政治家黄中庸、一代鸿儒谢湜、明代刑部尚书杜铭、与清官海瑞同列“三公”的一代循吏敖选等均出自于此。

至乾隆十六年乃称“绣川书院”。绣川书院时期可谓大师云集：清末著名学者、“蜀中三才”之一李调元，“戊戌变法六君子”之一刘光第，清代四川唯一状元骆成骧都曾来书院讲学。历史上苏东坡、陆游、杨慎、于右任、张大千等名人也先后来绣川书院游历学习。