Staden anlades på fastlandet och på öarna Härnön, Mellanholmen, Kronholmen och Bockholmen, de båda senare sedan länge förenade med fastlandet. På 1300-talet var Härnön en egen socken (Parochiae Hernö) och omtalades 1374 i samband med en biskopsvisitation där följet stannade till vid en hamn med namnet Hernösundh. Namnets förled har ansetts komma av ett ord, härn, besläktat med hjärna/hjässa som sk
ulle komma av öns höjder mot havet.[3]. En annan tolkning gör gällande att namnet syftar på berget Vårdkasen, vilket skulle erinra om toppen på ett huvud.[4]. Enligt ett tredje förslag utgår namnet från gudinnan Freja, vars binamn är Härn i hennes egenskap av linodlingens beskyddare.