Slottsfjellet var tidligere et kongssete. Åsen ble i middelalderen lenge kalt Mikkelsberg etter Sankt Mikaelskirken på åsen. Siden 1870-tallet har det blitt foretatt flere sprengninger i Slottsfjellet. I 1881 stod Slottsfjelltunnelen ferdig som Norges lengste jernbanetunnel da. Den ble seinere tatt i bruk som veitunnel. I tillegg er det tilfluktsrom og tilfluktsromforbindelser. Under andre verdenskrig ble det også sprengt ut rom i åsen. I forbindelse med markeringen av tusenårsskiftet, ble Slottsfjellet valgt til Tønsberg kommunes tusenårssted.
Tårnet på Slottsfjellet ble reist i 1888 på privat initiativ som et minnesmerke i forbindelse med Tønsberg bys tusenårsjubileum. Det er et 17 meter (60 fot) høyt utkikkstårn i stein og en enkel, rundbuet nyrenessanse-stil som kan gi assosiasjoner til borgtårn fra middelalderen. Fasaden er dekorert med et sitat fra Bjørnstjerne Bjørnson, innskriften «871-1871 Maa Byen som paa Tunet staar, faa blomstre nye Tusind-aar», og kongesignaturene «Haakon R 1. august 1906», «Olav R 1. juli 1958» og «Harald R. 9. mars 1992». Slottsfjellstårnet var i bruk som Tønsberg museum fra 1894 til 1930. Steintårnet erstattet et utkikkstårn av tre som Tønsberg Sjømannsforening bygde i 1856 og som brant ned i 1874.
