Terbentuknya Jurusan Fisika, FMIPA, Universitas Andalas berawal dari sekelompok dosen di FMIPA yang bertugas memberikan kuliah layanan mata kuliah Fisika Dasar untuk program-program studi lain di Universitas Andalas. Pada tahun 1970 dibentuklah suatu wadah bagi kelompok dosen tersebut yang dikenal dengan nama Servis Fisika dengan Ir. Amarhud Ahmad sebagai Ketua Servis. Setelah 26 tahun menjadi Servis Fisika, pada tahun 1996 Jurusan Fisika FMIPA Universitas Andalas berdiri sebagai sebuah jurusan yang utuh dengan dr. Farida Ilyas sebagai Ketua Jurusan. Secara resmi, Jurusan Fisika FMIPA Universitas Andalas berdiri pada tanggal 5 Maret 1996 berdasarkan S.K. Mendikbud No. 59/Dikti/Kep./1996 dan merupakan jurusan kelima yang ada di FMIPA Universitas Andalas.

Jurusan Fisika pertama kali menerima mahasiswa baru program sarjana pada tahun akademik 1996/1997 melalui jalur PMDK. Sejak tahun akademik 1997/1998 penerimaan mahasiswa baru dilakukan melalui dua jalur, yaitu PMDK dan SPMB/SNMPTN. Jurusan Fisika berhasil meluluskan mahasiswa program sarjana pertama kali pada tanggal 22 Januari 2001 yang diwisuda pada bulan April 2001.

Pada tahun 2004 Jurusan Fisika berhasil memperoleh Akreditasi B (baik) dari Badan Akreditasi Nasional Perguruan Tinggi (BAN-PT). Mulai tahun akademik 2005/2006 Jurusan Fisika juga menyelenggarakan Program Studi Fisika untuk Kelas Reguler Mandiri. Pada tahun 2016, Jurusan Fisika berhasil meraih Akreditasi A dari BAN-PT untuk Program Sarjana (S1) melalui SK No. SK:0985/SK/BAN-PT/Akred/S/VI/2016. Selain program S1, Jurusan Fisika juga menyelenggarakan Program Master (S2) sejak tahun akademik 2007/2008.