Герман Греф родился в селе Панфилово Павлодарской области.
Одной из основных задач Грефа на должности министра экономического развития были переговоры по вступлению России во Всемирную торговую организацию. И если сначала ставилась цель вступить в ВТО любой ценой и как можно быстрее, то потом основным стал принцип: "Россия будет вступать в организацию на как можно более выгодных для себя условиях". В связи с этим сроки вступления в ВТО постоянно отодвигались, и Россия не вступила в организацию до сих пор. Однако при Г.Грефе были успешно завершены двусторонние переговоры России со всеми основными мировыми торговыми державами.
На своем посту Г.Греф также активно ратовал за развитие промышленного производства в России. Особенно успешным для него в этой области стал 2005г. Так, в сферу его влияния попала программа Sukhoj Super Jet-100 (SSJ-100, ранее RRJ) - совместный проект компании "Гражданские самолеты Сухого", авиационного комплекса имени Ильюшина и компании Boeing. В этом же году вышло знаменитое правительственное постановление N166, предусматривающее льготы для автопроизводителей, открывших сборочные производства в России (заключение соответствующих договоров с автогигантами курировал МЭРТ). В том же 2005г. был принят разработанный министерством закон, регламентирующий деятельность особых экономических зон и предусматривающий для их резидентов льготные условия деятельности. Г.Греф также добился для своего ведомства права распределять средства на инновационные проекты как через созданную Российскую венчурную компанию (РВК), так и через Инвестиционный фонд. В 2005г. министр стал председателем комиссии, формирующей список проектов, софинансируемых из Инвестфонда РФ.
Г.Греф также активно участвовал в продвижении Сочи как места проведения Олимпиады-2014г. При нем Минэкономразвития курировало федеральную целевую программу "Развитие города Сочи как горно-климатического курорта до 2014г.", которая позже была передана в Минрегион.
28 ноября 2007г. на внеочередном собрании акционеров Сбербанк РФ Греф был избран президентом, председателем правления кредитной организации. На этой должности он сменил Андрея Казьмина, назначенного руководителем ФГУП "Почта России". Несмотря на заявление Г.Грефа, что никаких резких изменений в кадровой политике не планируется, несколько человек из топ-менеджмента банка подали заявления об уходе. Среди них были зампреды правления, руководители ведущих управлений. Однако бывший министр не потерял оптимизма - возглавив Сбербанк, Г.Греф в свойственной ему энергичной манере заявил: "Мы должны доказать, что слоны умеют танцевать… Дайте мне время, и тогда посмотрим, кто на что способен".
Так, в планах Г.Грефа сделать "Сбербанк" более "клиентоориентированным", в связи с чем в банке были серьезно повышены требования к сотрудникам, а также ведется работа по усовершенствованию принципов работы, в особенности связанных с розничным кредитованием. Другим серьезным начинанием Г.Грефа стал дорогостоящий ребрендинг Сбербанка, целесообразность которого в условиях финансового кризиса вызвала волну возмущения в СМИ. Кроме того, будучи сторонником идеи приватизации госбанков, Г.Греф выступает за сокращение доли ЦБ в уставном капитале банка до 50% + 1 акция с нынешних 57,6%. Впрочем, пока правительство РФ не торопится приватизировать Сбербанк, объясняя это его традиционно высокой социальной значимостью.
В мае-июне 2010г. стало известно, что Греф стал владельцем 0,0007% обыкновенных акций ОАО "Сбербанк России", при этом его доля в уставном капитале банка составила 0,0006%. Ранее Г.Грефу акции банка не принадлежали. В октябре 2011г. он довел свою долю обыкновенных акций до 0,003%, а свое участие в уставном капитале банка - до 0,0031%.
Герман Греф рассказывает о краудсорсинговом проекте Сбербанка
Герман Греф о необходимости манипуляции обществом, июнь 2012
Награжден Благодарностью и Почетной грамотой Президента Российской Федерации, орденом «За заслуги перед Отечеством» IV степени и медалью Столыпина П.А.
В ноябре 2015 года включен Forbes в рейтинг "25 самых дорогих топ-менеджеров России"