Mohamad Roem lahir 16 Mei 1908 di Desa Klewogan, Parakan (Karesidenan Kedu). Ayahnya Djokosasmito, lurah di desa tersebut. Beliau menimba sekolah dasar di Hollands Inlandse School (H.I.S.) di ibukota Kabupaten Temanggung. Salah seorang temannya di kelas satu adalah Prawoto Mangkusasmito. Waktu kelas 3, ia pindah ke H.I.S. Pekalongan, karena Parakan pada waktu itu diserang oleh wabah kolera dan kemudian wabah pest. Sekolah lanjutan dan perguruan tinggi ia timba di Jakarta. Pada tahun 1939 beliau tamat Rechts Hogenschool (R.H.S.) atau sekolah tinggi hukum, dan segera membuka kantor "advocaat en procureur" (pengacara) sendiri. Profesi ini adalah sumber penghidupannya yang ia jalankan dengan beberapa pekerjaan yang lain hingga akhir tahun 1966. Di masa mudanya, ia aktif dalam Kepanduan Islam "Nationaal Indonesische Padvinderij" (Natipij) yaitu dari tahun 1926. Ia ikut dalam pergerakan pemuda Islam "Jong Islamieten Bond" (JIB) pada tahun 1925 dan sebagai mahasiswa ia juga ikut serta dalam Studenten Islam Studie Club (SIS) sejak tahun 1932. Di tahun 1933 ia menjadi anggota PSII, kemudian ikut dalam Pergerakan Penyadar di tahun 1936. Pada zaman pendudukan Jepang, ia meneruskan praktiknya sebagai pengacara dan menjadi Kepala Barisan Pelopor Kampung Kwitang. Beberapa hari setelah proklamasi, ia diangkat menjadi ketua KNI kota Jakarta. Ia hadir dalam Kongres Muslimin di Yogya yang diadakan pada bulan November 1945. Di sanalah Masyumi didirikan sebagai salah satu partai politik Islam. Sejak partai itu didirikan hingga dibubarkan oleh Soekarno pada 17 Agustus 1960, ia terus menjadi salah satu anggota pimpinan partai Islam ini. Dalam Kabinet Sjahrir III (Oktober 1946), ia menjadi Menteri Dalam Negeri. Ia juga merangkap sebagai anggota delegasi dan ikut menandatangani Perjanjian Gencatan Senjata yang pertama (Oktober 1946) dan Perjanjian Linggarjati (25 Maret 1947). Dalam kabinet Amir Sjarifudin, yang di-reshuffle sesudah aksi militer I, ia menjabat sebagai Menteri Dalam Negeri lagi. Ketika Kabinet Amir diganti dengan Kabinet Hatta sesudah Perjanjian Renville (Januari 1948), ia menjadi Ketua Delegasi RI. Tanggal 31 Desember 1948, ia ditahan di Gunung Menumbing, Muntok, Bangka bersama dengan Mohamad Hatta, Ali Sastroamidjojo, Asaat, A.G. Pringgodigdo, dan Surjadarma. Pada April 1949, masih di dalam tahanan, ia berunding lagi yang kemudian berakhir dengan Perundingan Roem-Royen pada 7 Mei 1949 di Jakarta. Pada 6 Juli 1949 ia kembali ke Yogya bersama Presiden, Wakil Presiden, Menlu Haji Agus Salim, dan pemimpin-pemimpin lainnya di Pulau Bangka. Ia kemudian meneruskan perundingan gencatan senjata di Yogya dan syarat-syarat Konferensi Meja Bundar di Jakarta. Ia kemudian ikut serta dalam Konferensi Meja Bundar di Den Haag (Agustus-November 1949) sebagai Wakil Ketua. Sekembalinya ke tanah air di awal November 1949, ia diangkat menjadi Ketua Panitia Persiapan Nasional, yang menyiapkan penyerahan kedaulatan dan serah terima dari pemerintahan federal Belanda ke tangan Pemerintah Nasional RIS yang berlangsung pada Desember 1949. Dari Februari-Agustus 1950 ia menjadi Komisaris Agung di Belanda. Setelah itu ia menjadi Menteri Luar Negeri dalam Kabinet Natsir (September 1950-April 1951), Menteri Dalam Negeri dalam Kabinet Wilopo (April 1952-Juli 1953), dan Wakil Perdana Menteri dalam Kabinet Ali Sastroamidjojo (1956-1957). Ia menjadi tahanan politik di bawah rejim Soekarno dari Januari 1962 hingga Mei 1966. Pada kongres pertama Partai Muslimin di Malang pada November 1968, ia dipilih menjadi Ketua Umum. Namun, hasil kongres itu ditolak oleh Presiden Soeharto. Mohamad Roem menikah dengan Markisah Dahlia pada tahun 1932. Ia memiliki dua orang anak, yaitu Rumoso Roem (Mos) dan Rumeisa Roem (Meis). Beliau meninggal dunia di usia 75 tahun pada September 1983, di Jakarta karena gangguan paru-paru.