Baker cuyo seudónimo es Jacob Johnson en la industria del porno, de tan solo 29 años, se suma a la larga lista de relaciones amorosas del reconocido diseñador. Su primera esposa fue Jayne Centre, una compañera de clase con la que vivió una década de matrimonio, entre 1964 y 1974.
Fue durante este matrimonio, en 1968, cuando Calvin creó junto a su amigo Barry Schwartz el negocio que hoy todo el mundo conoce. La segunda esposa de Calvin Klein fue Kelly Rector, una asistente de su trabajo, con la que estuvo entre 1986 y 2006. La pareja sobrevivió a muchos rumores, que aseguraban que su matrimonio era un mero trámite para limpiar la reputación de Calvin.
Su última pareja conocida fue el también modelo y actor porno, Nick Gruber, un joven que por edad podría ser su nieto. Tenía 20 años. Los años de diferencia entre la pareja y el pasado de Nick levantaron muchos rumores, así como el notable parecido físico entre los dos.
Esta relación llego a su fin en 2012 por los problemas de adicción del actor porno, que fue arrestado por posesión de cocaína y agresión, El diseñador no dudó en pagar, 35.000 dólares mensuales para la rehabilitación de su ex.
