עם שחרורו הצטרף יהלום להנהגת צעירי המפד"ל.
מ-1972 ועד 1982 כיהן כמזכיר האגודה להתנדבות בעם, שארגנה את מפעל השירות הלאומי לבנות דתיות, שיהלום היה בין מקימיו.
מ-1975 ועד 1981 עמד בראש הדור הצעיר של מפלגת המפד"ל.
ב-1982 מינה שר החינוך והתרבות זבולון המר ז"ל, את יהלום ליועצו, והחל מ-1984 עמד בראש המרכז לתרבות ולהסברה במפד"ל.
כיהן בתפקיד המזכיר המדיני של המפד"ל בשנים 1987-1995.
ב-1987 נבחר ליו"ר מועצת המנהלים של עיתון "הצופה".
מ-1988 ועד 1992 כיהן כיו"ר המועצה של המרכז לציונות דתית מעלה, שיהלום היה בין מייסדיו.