В 1972 г. получил степень бакалавра гуманитарных наук в Университете штата Миннесота, в 1975 г. - степень доктора права в Университете штата Пенсильвания.
В декабре 1975 г. начал работать в EY в Миннеаполисе (штат Миннесота, США), а в 1985 г. там же стал партнером по налогообложению EY.
С 1995 по 2000 гг. Карл Джоханссон занимал должность управляющего партнера EY в СНГ. Затем являлся заместителем председателя совета директоров EY Global и членом международного совета компании. Также работал в Китае, содействуя развитию и расширению практики EY.
В июле 2006 года вернулся в Москву на должность управляющего партнера EY в СНГ. В январе 2014 г. покинул этот пост в связи с выходом на пенсию. Его место занял новый руководитель Джо Ватт.