ב1965, לאחר אין ספור וריאציות בהרכב, מתגבשת הלהקה. ה"Velvet underground" מונהגת בעיקר ע"י ריד וקייל שנעשים גם לחברים טובים באותה תקופה, למרות שכבר אז מתפתחות מריבות על כיוון הלהקה ועל המנהיגות בה בין קייל לריד.
ב1966 מתחילה הלהקה את קשריה עם אנדי וורהול והופכת לבת טיפוחיו דבר שיוצר עוד בעיית אגו בין ריד לוורהול, שמביא את הדיגמנית והזמרת ניקו, כדי שתשיר במקום ריד. ריד כמובן מתנגד ולבסוף ניקו שרה חלק מהשירים ולא הופכת אף פעם לחלק מהלהקה.
מאוחר יותר, ב1968, ויכוחי האגו מכריעים את השותפות קייל-ריד וקייל עוזב את הלהקה. הלהקה הופכת ללהקת ליווי של ריד.