Nacido en 1904 en una familia católica de clase media, del sur de Francia, Marrou realizó sus estudios en la Escuela Normal Superior de París sobre la calle Ulm, y obtuvo la agregación de historia en 1929, en segunda posición, detrás de Alphonse Dupront. Entró, acto seguido, en la Escuela francesa de Roma, donde trabajó hondamente sobre Agustín de Hipona. Admirador de Pierre Teilhard de Chardin y de Charles Péguy, conoció a Emmanuel Mounier, con quien colaboraría en la revista Esprit a partir de 1935. Fue asimismo el fundador de los Estudios agustinianos. Viajó entonces a Nápoles y El Cairo, antes de ser docente en Nancy y luego Montepllier. Se doctoró en 1937, con la presentación de su tesis sobre San Agustín y el fin de la cultura antigua. Músico aficionado, se convertiría además en miembro de la Academia Charles-Cros y redactaría bajo el seudónimo de «Henri Davenson», artículos y libros de musicología. Publicaría también en dicha revista artículos que serían ensamblados en 1978 con el título Crisis de nuestro tiempo y reflexión cristiana (de 1930 a 1975). Durante la Segunda Guerra Mundial, se unió a la Resistencia. De 1945 a 1975, ocupó la cátedra de historia del cristianismo en la Sorbona y escribió sus obras más importantes. Fue uno de los primeros colaboradores de la colección Fuentes cristianas; publicó a su vez la Patristica Sorbonensia, editados por Le Seuil, una colección de trabajos académicos sobre temas relacionadas con los Padres de la Iglesia Católica, a los que había asimismo editado. Por otro lado, con otros estudiosos denunció el uso de la tortura durante la Guerra de Argelia, actitud que le valdría persecución en ese momento. Aprobó vivamente el Concilio Vaticano II, combatiendo a su vez a los integristas y los progresistas influenciados por el marxismo; pero no le atrajo del Mayo francés. Sus libros ricos y ponderados sobre la cultura intelectual y religiosa de la Antigüedad Tardía, sus trabajos sobres los Padres de la Iglesia Católica (particularmente Agustín de Hipona), sus reflexiones sobre el «conocimiento histórico» y la teología de la historia, le valdrían una reputación internacional, y atrajeron a muchos discípulos. Fue amigo del historiador Marcel Simon y miembro de la escuela francesa de los Annales, junto a otros historiadores como Fernand Braudel, Marc Bloch, Lucien Febvre, Philippe Ariès y Georges Duby entre otros.