西嶼鄉立圖書館是西嶼鄉唯一的圖書館，於民國66年1月創設西嶼鄉文化康樂中心圖書室，並於69年5月在池東村72號地址，改成西嶼鄉立圖書館，並於85年3月於現在位址重新改建為現在原貌。館舍共二樓，一樓331.43平方公尺，二樓324平方公尺，空地452.2平方公尺。一樓內分服務台；兒童閱覽區，內部典藏適合各年齡層的兒童讀物，供小朋友自由取閱；書庫，典藏各類人文、社會、科學等圖書，採開架方式供民眾閱覽並辦理外借；閱覽區，座位寬敞舒適；期刊區，蒐集期刊60種、報紙4種；另外設有視聽室以及電腦五台，開放民眾上網查詢資料。二樓內分表演廳、展覽室；表演廳，可容納160人，定期放映影片，供民眾觀賞，不定期舉辦各種動態表演。展覽室，館藏鄉民韋慶陽先生的漁船模型。