A Pantheon Hadrianus császár nevéhez fűződik, aki 100 és 125 között építtette, állítólag saját tervei alapján. A templom egy korábbi, szintén Pantheon nevű templom helyére épült, amit Kr.e. 27-ben Agrippa építtetett, ez azonban 80-ban egy vihar következtében leégett. Érdekes, hogy újjáépítésekor, Hadrianus visszahelyezte a homlokzatra az eredeti feliratot: M. AGRIPPA L. F. COS. TERTIUM FECIT vagyis Marcus Agrippus Lucius fia harmadízben konzul építtette. Sokáig a felírat tévedés oka volt.
Agrippa temploma különös helyre épült. A Mars mezőnek azon részén ahol Romulus, a város alapításától 38. évben, seregszemlét tartott. Egyszer csak hatalmas vihar kerekedett és Romulust egy sűrű felhő eltakarta majd eltűnt és Romulust többe nem látta senki.
A Pantheon neve arra utal, hogy az összes pogány istennek ajánlott templom volt (görög: pan = összes, theo = isten).
A keresztény hit hódításakor, mint más pogány templomot, bezárták. Ez idő alatt rablók, majd a római birodalom bukása után, a barbárok is kizsákmányolták. Elvittek mindent, ami mozdítható volt: értékes szobrokat, díszelemeket.
Majd a VII században IV. Bonifác pápa keresztény templommá szentelte a keresztény világ összes mártírjának ajánlotta, innen új neve a Santa Maria ad Martyres.
De kizsákmányolása tovább folytatódott: 1632-ben VIII. Orbán pápa, a Barberini családból, elvitette a 200 tonnányi bronzot az előcsarnok tetőszerkezetéről, hogy aztán abból készüljön a Szent Péter bazilika baldachinja (Bernini alkotása) és 80 ágyú amit az Angyalvárba helyeztek (ezek közül néhány még ott látható). Ekkor született a híres szólás: “QUOD NON FECERUNT BARBARI, FECERUNT BARBERINIi” vagyis amit nem tettek meg a barbárok, azt megtették a Barberinik.
A Pantheon csarnokában magas gránitoszlopok, a bejáratnál hatalmas bronzkapu van.
Ahogy belépünk a kazettás belső díszítésű kupola közepén található, 9 méter átmérőjű kerek nyílás vonzza tekintetünket. Nincs üveg rajta, és valószínűleg szerkezet könnyítés céljából készült. Egy legenda szerint, amikor az eső esik, a Pantheonba nem tud beesni az eső mert a felszálló meleg levegő megakadályozza. Ez valóban nem igaz: esős időben a Pantheon közepén nagy tócsa áll.
A Pantheon kupolája a legnagyobb beton szerkezetű kupola melyet a XX századig építettek. Átmérője 43,2 méter hosszú, és ha képzeletben ezt a félkört meghosszabbítanánk, egészen a földig érne, ugyanis a templom magassága pontosan megegyezik átmérőjével. Súlya miatt, az építőréteg, felfelé haladva, egyre vékonyodik. Született egy legenda a kupola megépítésével kapcsolatban, miszerint a Pantheonba földet hordtak, hogy arra támaszkodjon az épülő kupola súlya. Aztán a földet közös erővel, mindenki segítségével szépen kihordták ugyanis a föld közé pénzérméket rejtettek. A legenda szerint a kihordott földből lett a Montecitorio dombja, ahol ma az olasz képviselőház székhelye van.
A Pantheonban van elhelyezve az egyesített Olasz Királyság első (II Viktor Emánuel) és második (I Umberto) uralkodóinak sírja. Itt található a reneszánsz egyik legnagyobb művészének, Raffaellonak sírja is.