יעקב אגם נולד בראשון לציון ב - 1928 כיעקב גיפשטיין. אביו, יהשע גיפשטיין, היה רב אורתודוכסי שסרב לרשום את בנו לבית ספר חילוני. אגם גדל ללא השכלה פורמלית. הוא מתחיל לצייר ב - 1940. ועובר לגור לקיבוץ ב - 1944.