Dinas Perpustakaan Kota Padangsidimpuan awalnya bermula sebagai Taman Bacaan dan kemudian dijadikan UPTD Perpustakaan pada tahun 2008. UPTD Perpustakaan ini terletak di jalan Mesjid Raya Al Abror Padangsidimpuan yang bertempat di Kantor Basnaz Kota Padang Sidempuan sekarang, dengan Kepala UPTD pertama Bapak Ridwan Siregar, S.Pd.
Pada tahun 2017, UPTD Perpustakaan Padangsidimpuan beralih menjadi Dinas Perpustakaan yang beralamat di Jalan Sutan Soripada Mulia Sadabuan dengan Kepala Dinas Pertama ibu Hj. Kastiana Hutabarat. Saat ini, Dinas Perpustakaan Kota Padangsidimpuan dikepalai oleh Ibu Efrida Julianti Nasution, SE.
Dinas Perpustakaan Kota Padangsidimpuan dibentuk atas dasar :
- Peraturan Daerah Kota Padangsidimpuan Nomor 4 Tahun 2021 tentang Perubahan Atas Peraturan Daerah Kota Padangsidimpuan Nomor 5 Tahun 2016 Tentang Pembentukan Perangkat Daerah Kota Padangsidimpuan (Lembaran Daerah Kota Padangsidempuan Tahun 2021 Nomor 4)
- Peraturan Wali Kota Padangsidimpuan Nomor 18 Tahun 2021 tentang Perubahan Keempat Atas Peraturan Wali Kota Padangsidimpuan Nomor 42 Tahun 2016 tentang Tugas, Fungsi dan Tata Kerja Perangkat Daerah Kota Padangsidimpuan.
Berdasarkan peraturan tersebut, Dinas Perpustakaan Kota Padangsidimpuan merupakan unsur urusan wajib bukan pelayanan dasar yang dipimpin oleh Kepala Dinas yang berkedudukan di bawah dan bertanggung jawab kepada Wali Kota Padangsidimpuan melalui Sekretaris Daerah.