山东省图书馆创建于1909年（清宣统元年）。是中国十大图书馆之一，据《山东创建图书馆记》载，山东提学使罗正钧于省城旧贡院东北隙地创建图书馆仿浙江宁波范氏天一阁旧制， 院内古木假山，曲水拱桥，极为风雅别致，人称历下风物，此为最胜。
据2016年3月图书馆官网信息显示，山东省图书馆新馆于1994年动工兴建。整个工程分两期进行，第一期工程综合阅览楼，建筑面积为35830平方米，投资11048、1万元。主体建筑为六层中空式，内部全部采用大开间柱网结构，柱网间距7、2米，每层面积自2000余平方米至6000余平方米不等。二期工程书库楼共12层。开架借阅室由以前的2个增加到8个，开架图书由以前15万册增加到150万册以上。开放各类阅览室、研究室35个以上，读者阅览室座达2000个以上。