ב-1933 נבחר גרינבוים להנהלת הסוכנות היהודית ומאז שימש בה תפקידים בכירים ביותר.
כיהן כראש מחלקת העלייה בשנים 1933-1935; ראש מחלקת העבודה (1935-1949) וגזבר הסוכנות היהודית (1949-1950).
במלחמת העולם השנייה הקים בקושטא את המשרד ליצירת קשר עם היהודים בארצות הכבושות.
לאחר הכרזת העצמאות נבחר למנהלת העם ושימש בתפקיד שר הפנים ואחר כך בחר בו בן גוריון לשר פנים בממשלתו. כיהן בתפקיד בין 1948-1949.
גרינבוים היה גם פובליציסט פורה וסופר. הוא פרסם מספר רב של מאמרים וכמה ספרים היסטוריים ובהם תולדות יהודי פולין ותולדות התנועה הציונית.
נפטר בשנת 1970.