Mot vest og under det bratte berget lå middelalderbyen Skien og Klosterøya. Gårdsnavnet har derfor en naturlig forklaring; bratt-berget måtte forseres på vei opp og ned.  Kapitelberget med ruinen fra kryptkirken som ligger på knausen øst for byen men like vest for gården, markerer Bratsbergs makt og betydning gjennom historien. Berget og kirkeruinen er valgt til Skien bys "tusenårssted" i år 2000. (Se Kapitelberget). 

Bratsberg gård ble trolig ryddet i folkevandringstiden. Dens storhetstid var i Middelalderen, Men gården har hatt mange betydningsfulle eiere som for eksempel Cort Adeler og slektene Cappelen og Blom. 

Gården er nevnt i biskop Eysteins jordebok fordi en del av gården lå under Klosteret . Etter reformasjonen ble Klostereiendommer og kirkegods konfiskert av kongemakten og ble betegnet som krongods – etter hvert som kronen var i behov av verdier på grunn av krigføring eller som betalingsmiddel til å skaffe seg makt og innflytelse, brukte kongen krongodsene som betalingsmiddel.  På 1660-tallet overførte han eksempelvis en betydelig eiendomsmasse her i distriktet til private. Han solgte Bratsberg, Gimsøy kloster samt Follaug gård til generalløyntnant og lensherre Jørgen Bjelke. Den da så berømte helten sjøadmiral Cort Adler overtok nevnte eiendommer fire år senere samtidig som han for fortjenestefull krigsinnsats fikk seg overdratt betydelig kirkegods fra kronen, bl.a. mange eiendommer i Gjerpen.
  
Adeler-slekten var mektig godseier på 16 og 1700-tallet. Herman Leopoldus Løvenskiold overtok Fossum Jernverk med tilhørende eiendommer på 1730-tallet. Og i 1823 ble Didrik von Cappelen eier av Gimsøy klostergods. Den rike kjøpmannsslekta ble med Christoffer Hansen Blom inngiftet i Cappelen-familien.
«Blommene» overtok Bratsberg.  Christopher Blom var som eier lite interessert i å drive gårdsbruk slik at mye av gården ble stykket opp i parseller som ble frasolgt stykkevis.   Driftsbygningene ble revet og Gamle Bratsberg som lå nær krysset Håvunveien – Løbergveien ble revet av eieren. Han trengte mer plass på grunn av sin store familie. Derfor bygget han et nytt stort våningshus i sveitserstil på Bratsberg noe lenger syd. Det kjøpte amtmann Viggo Ullmann senere til sin bolig. Dette huset brant i 1909 og dermed gikk også amtets arkiv opp i røyk. 

«Snipp, snapp, snute» så var restene av Bratsberg hovedgård definitivt  ute.
Det store huset som senere ble reist på branntomta og som står der nå, er bygget i Jugent-stil.  

Sentrale opplysninger er gitt oss av Anna Helene Tobiassen  (i Slekten Blom/Backer)