En “Would’ve, Could’ve, Should’ve”, Taylor utiliza matices morbosos y religiosos para expresar su arrepentimiento por una relación de juventud que la dejó profundamente marcada. Se inspira en algunos de sus temas anteriores como “A Perfectly Good Heart” y “Dear John”, en las que la ingenuidad de la cantante fue pisoteada igualmente.

“Would’ve, Could’ve, Should’ve” se basa en la relación de Taylor con John Mayer, que tuvo lugar cuando ella tenía diecinueve años y él treinta y dos. La diferencia de edad fue muy criticada en su momento, pero Taylor se mantuvo firme en su rebeldía. Ahora, con más de una década de experiencia acumulada desde el final de la relación, Taylor se arrepiente de ella, dado su desequilibrio de poder, el arrebato intempestivo de su inocencia y el trauma duradero que mantiene de ella. Lamenta haberse precipitado en cosas en las que debería haberse tomado su tiempo.

La canción está repleta de una batería pesada y amenazadora que le da un aire rockero, yuxtapuesta a unas armonías vocales de fondo que recuerdan a los coros religiosos. Todo ello se combina para crear un tema siniestro con asociaciones aleccionadoras. Desde el punto de vista sonoro, tiene un aire similar a las canciones anteriores de Taylor “Haunted” y “Don’t Blame Me”, aunque con un mensaje muy diferente.