בתקופת מלחמת העולם הראשונה החל לדון עם מנהיגי הפועלים, בעיקר ברל כצנלסון, על איחוד מפלגות הפועלים שנחלקו אז לשלושה זרמים - פועלי ציון, הפועל הצעיר והבלתי מפלגתיים. למרות סירוב "הפועל הצעיר" לאיחוד הכריז בן גוריון על הקמת מפלגת "אחדות העבודה" בשנת 1919.
בשנת 1920 הוקמה הסתדרות העובדים הכללית ובן גוריון מונה למזכירה הכללי ב-1921. הוא כיהן בתפקיד זה עד 1933.
לאחר שמונה למזכיר הכללי של ההסתדרות הפך בהדרגה לאישיות הדומיננטית ביותר ביישוב היהודי בארץ-ישראל. בן גוריון פעל במסגרת ההסתדרות, במיוחד לאחר משבר העלייה הרביעית ב-1926, להנהגת "עבודה עברית" ביישוב היהודי. ב-1930 פעל לאיחוד מפלגות הפועלים ועמד בראש "מפא"י" - מפלגת פועלי ארץ-ישראל, בעלת המצע הסוציאליסטי, שהפכה למפלגה המרכזית במארג המפלגות ביישוב היהודי במשך שנים רבות.
לאחר אירועי 1929 שבהם נהרגו ונפצעו בירושלים, בחברון ובערים אחרות מאות יהודים וערבים, החליט לקדם את ארגון ההגנה כארגון הצבאי שיגן על היהודים.
מאמצע שנות השלושים היה בן גוריון ממנהיגי תנועת העבודה וההסתדרות הציונית. הוא נבחר ליו"ר הנהלת הסוכנות בשנת 1935 וחתר בהתמדה להקמת מדינה יהודית עצמאית. ב-1937 תמך לאחר לבטים בתוכנית החלוקה לאחר שהגיע למסקנה כי הקמת מדינה יהודית לצד מדינה ערבית עדיפה בתקופה ההיא. הוא האמין כי בריטניה תיישם בסופו של דבר את הצהרת בלפור, אך לאחר פרסום הספר הלבן בשנת 1939, החל להאמין כי רק הכרזה חד-צדדית מצד הסוכנות תביא להקמת מדינה יהודית בארץ-ישראל וקרא לביצוע שלב חדש בציונות - "ציונות לוחמת".