marts 1949 ved en stiftende generalforsamling på loftet i ejendommen Frejasgade 9. Forsamlingen var indkaldt af unge mennesker fra boligforeningerne ”Odinsgården” og ”Sønderport” og de tilstødende gader, og de opkaldte klubben efter gadenavnet. Drengene valgte selv deres bestyrelse med Erik Nørbak som klubbens første formand. Forud for stiftelsen var der imidlertid mange kvaler. Da gaderne i kvart
eret jo ikke var ideelle til fodbold, fik drengene lov til at omdanne de nedlagte haver, hvor ”Lejerbo”-komplekset nu ligger placeret, til boldbane. Drengene gik til opgaven med liv og sjæl, men måtte se i øjnene, at det var en uoverkommelig opgave. Nogle voksne blev dog interesserede, da de så drengenes iver, og det lykkedes at nedsætte et udvalg på fem mand, der skulle varetage anlægget af banen. Børn, unge og voksne mødte frem med hestevogn, trillebøre og skovle, og inden længe havde man en brugbar bane. I starten spillede drengene 7-mands kampe mod andre gader og kvarterer. Efter et stykke tid henvendte de sig til Jens Outzen og spurgte, om han ville være deres leder. Han sagde ja, hvilket kom til at betyde meget for klubben i årene fremover. Kathrine Outzen, hustru til Jens blev autoriseret tøjvasker, og Jens' børn, Inga, Poul og Finn, blev involveret i Freja, hvilket de stadig er den dag i dag. Finns søn Jacob Outzen spiller nu på Frejas førstehold og hans datter Winnie har også været aktiv som spiller for dameholdet. Lokalsamfundet
I 1952 flyttede Freja fra de trange kår i Frejasgade til Dyrskuepladsen, hvilket blev hjemmebanen i mange år fremover. Der var dog til stadighed problemer med baneforholdene idet arealet blev brugt til dyrskue, kræmmermarked, hundetræning, tivoli og andre formål. Det var således ikke et særsyn, at banen var fyldt med huller, kokasser og andre finurligheder. Nyt tilholdssted efter ultimatum
I 1964 fik medlemmerne bygget et klubhus på anlægget, så nu havde Freja pludselig fået en samlingsstue, et lille køkken(kantine) og fire omklædningsrum med hver sin bruser. Dette klubhus blev flittigt brugt, indtil man flyttede til Vestergade stadion den 1. januar 1990. I mellemtiden var gået mange seje forhandlinger med Horsens kommune om bedre forhold for de efterhånden mange Freja-medlemmer. Forskellige forslag fra Freja blev afvist af kommunen og til sidst fik man et ultimatum, som betød, at man flyttede til B1940's gamle klubhus og dermed blev naboer med Horsens Boldklub. Man har haft samarbejde på ungdomssiden med HB og i 1999 var der en afstemning om sammenlægning af de to klubber, men forslaget blev stemt ned af Freja.
