בשנת 1959 נבחר לכנסת מטעם מפא"י.
בין השנים 1959-1964 כיהן כשר החקלאות בממשלת בן גוריון.
היה מעורב בפרשה פוליטית שכונתה "פרשת לבון" ואשר בה צידד בדוד בן גוריון. בעקבות הפרשה פולגה מפא"י ובן גוריון ביחד עם מספר פוליטיקאים צעירים ובהם דיין, פרשו ממפא"י, והקימו את מפלגת רפ"י. דיין נכנס כנציג הרשימה לכנסת השישית (1965).
באותה שנה ערך דיין סיור מקיף בוויטנאם ודווח ברשימות שפרסם על המלחמה.
בשנת 1967, בפרוץ מלחמת ששת הימים, אולץ ראש הממשלה דאז, לוי אשכול, לצרף את דיין לממשלתו ולמנותו כשר ביטחון.
הנצחון המוחץ באותה מלחמה על צבאות מצרים, סוריה וירדן, הפך את דיין לדמות פוליטית מרכזית בממשלות ישראל הבאות.
הוא המשיך לכהן כשר בטחון בממשלת אשכול עד 1968 ובממשלת גולדה מאיר עד 1974.
בפרוץ מלחמת יום כפור, באוקטובר 1973, הואשם דיין כאחראי הראשי לשאננות שהייתה סביב פרוץ המלחמה ותוצאותיה ואשר בגינה נהרגו למעלה מ-3000 חיילי צה"ל.
דיין התפטר מתפקידו עקב לחץ דעת הקהל הישראלי, אך חזר לממשלה לאחר המהפך הפוליטי בשנת 1977 שבגינו עלה מנחם בגין לשלטון.
כיהן כשר חוץ בממשלת בגין והיה אחראי במדה רבה לחוזה השלום שנחתם עם מצרים.
הוא התפטר מהממשלה ב-1979 בגין חילוקי דעות עם בגין בעקבות המשא ומתן לשלום עם הפלסטינאים שנוהל אז.
בשנת 1981 עמד דדין בראש רשימה עצמאית לכנסת שנקראה תל"ם (תנועה להתחדשות מלכתית), אשר זכתה רק בשני מושבים בכנסת העשירית.
לאורך כל דרכו היה ידוע באהדתו לערבים אם כי דגל ביד חזקה בעימות עימם.
נפטר בשנת 1981.