土木図書館は公益社団法人土木学会の附属図書館として、昭和40年(1965)に設立されました。土木学会は大正3年(1914)11月24日、文部省より社団法人の設立許可を受け工学会から独立し、『土木学会誌』を翌年に創刊、以来土木に関わる各種出版物の編集・発行をはじめ学術研究調査に関わる諸活動を展開してきました。
昭和8年(1933)頃に学会改革案の1項として土木図書館創設の提案がなされていますが、実現には至りませんでした。
創立50周年を迎えるに際し、その記念事業のひとつに「土木会館」建設を決定し、その敷地を現在学会がある場所に決定しましたが、都市公園法上の問題があり、昭和38年(1963)に土木図書館建設計画が浮上、翌昭和39年(1964)6月に着工され、同年11月24日の学会創立記念日に竣工、昭和40年(1965)1月から図書館業務を開始しました。
平成6年(1994)には土木学会創立80周年事業として土木図書館を併合する「土木学術資料館」を川崎市浮島地区に建設する予定で検討を進めてきましたが、諸事情により頓挫、土木図書館を現位置に建て替えることとなり、平成13年(2001)5月に着工、平成14年(2002)5月に竣工し現在に至ります。
近年は情報化の要請に呼応し、1990年代に書誌検索システムを導入、インターネットの普及とともにweb検索にもいち早く対応し、2000年初頭には土木デジタルアーカイブスに着手して、貴重資料や雑誌、絵葉書や古写真など1万点に及ぶコンテンツを提供しています。また、土木学会学術論文公開事業にも取り組み、30万件を超える文献原文をwebで公開しています。