Høllen var tidligere utskipningshavn for tømmer som ble fløtet ned Søgneelva og for stav fra innlandet, speisielt fra Finsland.
Høllen var tingsted fra ca 1500 til ca 1775. Det bodde bare to-tre-fire familier her. Men til ei stue i Tingstuveien ble det innkalt til bygdeting under ledelse av sorenskriveren hver vår, sommer og høst sammen med partene i sakene som skulle avgjøres. Av og til ble det også holdt lagting her med både fogd og amtmann. Det var gjestgiveri i Høllegata.
På 1800-tallet økte tilflyttingen i takt med tømmerhandelen med Danmark. Små søgneslupper, så små at de unngikk losplikt, fraktet bord av 12-15 fots lengde til Danmark og tok gjerne med danske matvarer tilbake til Høllen.
I 1870 ble det innerst i bukta bygd ei stor dampsag for å bearbeide en del av tømmeret som kom ned elva. Saga fikk stor betydning for utviklingen i Høllen. I 1875 var 37 familier (216 personer) bosatt i Høllen. Men fredag 10. august 1888 ble Høllen rammet av brann som la dampsag, landhandel, gjestgiveri og 10 hus i aske.
Husene ble gjenoppbygd – og Høllegada er fortsatt en idyllisk perle – med hvite hus på rekke og rad. (NB: Gata er stengt for gjennomkjøring.)
Saga ble ikke gjenoppbygd, men på branntomta innerst i bukta, som i dag omkranses av butikk, restaurant og nye boliger, kom i 1891 Høllen Skibsverft som ble en viktig arbeidsplass i bygda og bygde mange store og små båter fram til ca 1960.
I motorfabrikken produserte Ole Tjomsland Tjomslands-dieselen, som på 1930-tallet var den første norskbygde dieselmotor for småbåter.
Brygga utenfor rundkjøringa og småbåthavna ble bygd på slutten av 1950-tallet. Der småbåthavna ligger var det grunt vann. Ytterst på moloen mot Høllefjorden er det plassert skulpturer.
En stein står til minne om et enestående funn som Søgne Dykkerklubb gjorde i 1984 ved innseilingen til Ny-Hellesund. De fant vrakrester av en 500 år gammel seilskute, som var på vei fra Estland til Vestlandet eller til England, med heller av kalkstein til gulv i en kirke.
Høllen et et attraktivt boligområde. Her er store småbåthavner, gjestehavn, bensinstasjon og dagligvarebutikker.
Vertshuset Høllen Brygge, Høllesanden Bay Wok og “Joker” kan stille sulten.
Høllesanden, der Søgneelva møter havet, er en barnevennlig, langgrunn badestrand. Om sommeren er det et yrende liv både på Høllesanden, i havna og på fjorden.
Høllen strandsti oppover langs elva og over til Årossanden er verd en spasertur.
Brygga i Høllen er utgangspunkt for Hannibal som hele året går mange daglige rundturer til Borøya, Skarpøya og Ny-Hellesund. Brygga er også et knutepunkt for busstrafikken i Søgne og til Kristiansand.
Hølledagene er et populært arrangementom dessverre ikke arrangeres i 2018.