משנסתיימה משרתו הפוליטית, פרש מיל לאביניון צרפת, שם קבורה היתה אישתו המנוחה. את שנותיו האחרונות בילה במחקר בוטני, שיחות עם בתו החורגת, הלן טיילור, וכתיבת האוטוביוגרפיה שלו, אשר יצאה לאור לאחר מותו. הוא מת באביניון ב- 8 במאי 1873.