SMU 3 Semarang berdiri sejak tanggal 1 November tahun 1877. Terletak di Jalan Bodjong 149 (Jl. Pemuda 149). Mula-mula adalah HBS (Hogere Bunger School). Pada tahun 1930 dipergunakan untuk untuk HBS dan AMS (Algemene Meddelbare School), kemudian tahun 1937 HBS pindah di jalan Oei Tong Ham (sekarang Jl Menteri Supeno No. 1 / SMU 1 Semarang), sedangkan bangunan di jalan Bodjong dipergunakan untuk AMS dan MULO.Pada zaman pendudukan Jepang bangunan ini dipergunakan untuk SMT (Sekolah Menengah Tinggi).
Saat zaman republik tahun 1950, oleh pemerintah RI berubah menjadi SMA A/C lalu dipisah dua tahun kemudian menjadi SMA Negeri A dan SMA Negeri C. SMA Negeri A selanjutnya menjadi SMA III dan SMA Negeri C menjadi SMA IV Semarang, tetapi masih menempati gedung yang sama. Pada tahun 1971, oleh Kepala Perwakilan Dep. P dan K Prop. Jateng digabungkan menjadi SMA III – IV.
Tujuh tahun kemudian, tepatnya tahun 1978 SMA III – IV, dipisah lagi, SMA IV menempati gedung baru di Banyumanik, sedangkan SMA III tetap menempati gedung di jalan Pemuda 149 Semarang.
Sejak tahun 1950 sampai sekarang , SMA 3 sudah banyak mengalami pergantian kepala sekolah.
Nama-nama kepala sekolah tersebut antara lain :
Kepala SMA A/C | Bapak Mr. FL. Wijono |
Kepala SMA A | 1. Bapak Mr. FL. Wiyono |
2. Bapak Sardjono | |
3. Bapak Maryono | |
Kepala SMA C | Bapak BM. Ichwan |
Kepala SMA III | 1. Bapak BM. Ichwan |
2. Bapak Moch Joesoef Soediradarsono | |
3. Bapak Drs. Arief Moechjidin | |
Kepala SMA IV | 1. Bapak Marjono |
2. Bapak Drs. Soekono | |
Kepala SMA III -IV | Bapak Drs. S. Soewarto Muthalib (1971-1978) |
Kepala SMA III | 1. Bapak Drs. S. Soewarto Muthalib (1978-1980) |
2. Bapak Soetiman (1980-1989) | |
3. Bapak Soerjono Djati, BA (1989-1991) | |
4. Bapak M. Sukoco (1991-1995) | |
5. Bapak Drs. Rachmat Mardjuki (1995-2000) | |
6. Bapak Drs.H.SardjuMaheri, M.Pd (2000- 2005) | |
7. Bapak Drs. Soedjono, M.Si (2005- 2009) | |
8. Bapak Drs. Hari Waluyo, MM (2009-2012) | |
9. Bapak Drs. Bambang Nianto Mulyo, M.Ed (2012-2016) | |
10. Bapak Drs. Wiharto, M.Si (2016-Sekarang) |