Gerhard Jahn wurde 1927 als Sohn des Arztes Ernst Jahn und der jüdischen Ärztin Lilli Jahn geboren. Die Familie hatte fünf Kinder. Seine Eltern hatten 1926 geheiratet und Gerhard Jahn war der älteste Sohn. Im nordhessischen Immenhausen eröffneten die Eltern eine gemeinsame Arztpraxis. Nach der Machtergreifung der Nationalsozialisten 1933 wurde das gesellschaftliche Leben der Familie zusehenst schwieriger und die Ehe der Eltern belastet, was schließlich zur Trennung der Eltern führte. Die jüdische Mutter wurde 1943 inhaftiert und ins Arbeitslager Breitenau bei Kassel eingeliefert. Die fünf Kinder lebten getrennt vom Vater allein in Kassel und führten einen intensiven Briefwechsel mit der Mutter. Nach dem Tode von Gerhard Jahn fand sein Neffe Martin Doerry, Journalist vom Spiegel die Briefe im Nachlass seines Onkels und veröffentlichte sie in einem Buch mit dem Titel "Mein verwundetes Herz".

Jahn besuchte das Gymnasium in Kassel und war von 1943 bis 1944 als Luftwaffenhelfer und beim Reichsarbeitsdienst eingesetzt. Nach Kriegsende war er von 1945 bis 1946 zunächst als Verwaltungsangestellter tätig, bestand dann aber 1947 das Abitur. Er absolvierte danach ein Studium der Rechtswissenschaft, welches er 1950 mit dem ersten und 1956 mit dem zweiten juristischen Staatsexamen beendete. Seit 1957 war er als Rechtsanwalt zugelassen.

Seit 1949 war er Mitglied der SPD.

Gerhard Jahn war verheiratet und hatte drei Kinder.

Von 1956 bis 1978 war er Stadtverordneter der Stadt Marburg.

Von 1957 bis 1990 war er Mitglied des Deutschen Bundestages.

Ab 1960 war er Mitglied im Vorstand der SPD-Bundestagfraktion, von 1961 bis 1963, von 1965 bis 1967 sowie von 1974 bis 1990 als Parlamentarischer Geschäftsführer.

Von 1960 bis 1961 war er Vorsitzender des Ausschusses für Wiedergutmachung. Von 1974 bis 1975 war er Vorsitzender des Ausschusses für Wahlprüfung, Immunität und Geschäftsordnung.

Von 1967 bis 1969 war er in der von Bundeskanzler Kurt Georg Kiesinger geleiteten Bundesregierung Parlamentarischer Staatssekretär beim Bundesminister des Auswärtigen.

Nach der Bundestagswahl 1969 wurde er am 21. Oktober 1969 als Bundesminister der Justiz in die von Willy Brandt geführte Bundesregierung berufen. Nach dem Rücktritt von Willy Brandt schied auch Jahn am 7. Mai 1974 aus der Regierung aus.

Von 1975 bis 1977 sowie von 1979 bis 1982 war er Vertreter der Bundesrepublik Deutschland in der Menschenrechtskommission der UNO.