Алексей Герман родился 20 июля 1938 в Ленинграде. После окончания в 1960 году Ленинградского государственного института театра, музыки и кинематографии он в течение нескольких лет работал в театре.
В 1964 году Герман пришел на «Ленфильм», где его первой работой стал фильм «Рабочий поселок», в котором он был вторым режиссером.
Режиссерским дебютом Алексея Германа стала лента «Проверка на дорогах». Работа над лентой была завершена в 1971 году, однако на экраны ее выпустили лишь в 1985 году. За «Проверкой на дорогах» последовали «Двадцать дней без войны» (1974 год) и «Мой друг Иван Лапшин» (1984 год). Последняя завершенная Германом лента — «Хрусталев, машину!» — вышла на экраны в 1998 году.
Алексей Герман на протяжении многих лет работал над фильмом по произведению братьев Стругацких «Трудно быть богом», однако на экраны при его жизни эта лента так и не вышла.
Алексей Герман-старший был лауреатом многочисленных наград и премий. В частности, его работа «Мой друг Иван Лапшин» в 1987 году получила Госпремию РСФСР, а годом позднее «Проверка на дорогах» была удостоена Госпремии СССР.
