נולד בעיירה קסיונס שבפוזנן, גרמניה. אביו, קצב במקצועו, דאג להשכלתו הרחבה של בנו. בתחילה בחדר מסורתי ומ-1831 עד 1836 בלימודי רבנות בעיר וולסטיין, גם היא בפוזנן. בו בעת למד גרץ בעצמו לטינית וצרפתית והתגלה כעילוי. הוא קיבל אישור ב-1840 ללמוד באוניברסיטת ברסלאו וסיים שם את לימודי הדוקטורט בשנת 1846. לימד בסמינר היהודי התיאולוגי בברסלאו והחל ב-1854 את הראשון מבין עשרת כרכי תולדות היהודים שהפכו אותו לאחד ההיסטוריונים החשובים ביותר ולדמות מפתח בתנועת ההשכלה היהודית בגרמניה ובאירופה כולה.