Haraldur Ólafsson ólst upp á Kópavogshæli frá tveggja ára aldri en vegna líkamlegrar fötlunar hans var gert ráð fyrir að hann væri jafnframt andlega fatlaður. Stuðningur við fatlað fólk var lítill á þessum árum og lengi vel var gert ráð fyrir því að hann gæti ekkert lært.