יצחק מרדכי הכיר את אשתו הראשונה פנינה, בעת שירותו הצבאי והתגרש ממנה לאחר זיכויו מפרשת "קו 300". לזוג שני ילדים, שגית ועופר.