وی دارای درجه کارشناسی ارشد ریاضیات از دانشسرای عالی بوده و پیش از انقلاب ۱۳۵۷ ایران، به حرفه آموزگاری اشتغال داشته‌است. پس از انقلاب در کابینه مهدی بازرگان وزیر آموزش و پرورش بود و با انتخاب ابوالحسن بنی‌صدر به عنوان رئیس‌جمهور، رجایی به عنوان نخست‌وزیر معرفی شد. وی از ۱۱ مرداد ۱۳۶۰ تا ۸ شهریور همان سال، یعنی به مدت ۲۸ روز، رئیس‌جمهور منتخب مردم بود.

رجایی در ساعت ۱۴:۳۰ روز ۸ شهریور ۱۳۶۰ از اتاق کارش خارج شد و به محل جلسه فوق‌العاده دولت رفت. در ساعت ۱۵:۰۰ صدای انفجار مهیبی از ساختمان نخست‌وزیری برخاست. در این حمله، او و محمدجواد باهنر، نخست‌وزیر وقت شهیدشدند در این هنگام کمتر از یک ماه از ریاست‌جمهوری او می‌گذشت.