江汉书院系明代提学葛寅亮主持创办，以江、汉二水为楚地之望而定名。原址在武昌文昌门内。清顺治年间定为直省书院，迁至忠孝门内巡道岭（今粮道街武汉中学处）。康熙年间，巡抚陈洗、张连登等次第修葺，巡抚林天擎集多士肄业，捐赀供给。雍正年间，朝廷赐帑金千两，总督德沛又捐赀若干，规模有所扩大。张之洞任湖广总督时，于该院原设天文、地理、兵法、算学四门外，又添经史一门。

学生主攻功今文、试帖诗、按月宫、师二课，官课自总督至武昌知府，每月讲课一次。后江夏县、汉阳县令亦来讲课。师课则院长每月讲课一次。官课考试有奖金，师课有膏火无奖金。1739年（乾隆四年）曾拓地扩建，内设十贤词，祀濂溪、二程、横渠、考亭、南轩、陈良、公孙龙、任不齐、赵复等；又有德教祠，祀肇建书院督抚司道及历次输资有功书院者。又有题名碑记，凡诸生中试者，皆镌名其上，以资鼓励。

江汉书院于1853年（咸丰三年）太平军占领武昌时被毁。1862年（同治元年）湖广总督官文和邑绅陈庆溥集资重建。1867年，书院山长雷以减呈请鄂督李鸿章批准，进行扩建，补修了斋舍，使肄业生员达2400名，课程内容主要是“四书”、“五经”和宋明先儒著作。

次年，任湖北学政的张之洞到各府主持考试，将各府诸生才学优秀者送江汉书院肄业，除筹给膏人费外，还捐购经史书籍庚置院中，以便学生们能育习研摩，专务实学。1897年（光绪二十三年）已为总督的张之洞根据新形势，对书院进行改章，除传统课程外，又增设天文、地理、算学、兵法等科目。本院分教习多由经心书院分教兼任。1902年并人经心书院改为勤成学堂。