El primero en conseguir una guitarra fue Billie Joe, tiempo después lo hizo también Mike. Empezaron tocando covers en algunos bares con otras bandas, pero Billie Joe decidió empezar a componer sus propias canciones, El nombre de este dúo fue Sweet Children.

Pero antes de haberse formado en sí Sweet Children, Mike dejó la guitarra y se decidió dedicarse al Bajo. Tocaron por primera vez en "Rod's Hicktory Pit". Este primer Show fue interrumpido por una llamada de la mamá de Billie Joe, quien le decía que tenia que estar en casa. Por aquel entonces ellos tenían tan solo 15 años.

La primera Grabación apareció en 1987, bajo el sello "Skene", fue llamado Sweet Children EP, el cual fue vendido por ellos en las presentaciones de la banda. Esta Producción Contiene un cover de "The Who" llamado "My Generation" y otras canciones llenas de ruido y letras poco entendibles.