Taylor, geboren als James Wesley Voight in 1940, was de jongste broer van acteur Jon Voight en geoloog Barry Voight. Hij was ook de oom van actrice Angelina Jolie en haar broer, James Haven.
Hij begon zijn muziekcarrière eind jaren vijftig met de band Town Three en nam ook platen op onder de naam Wes Voight. Later nam hij de artiestennaam Chip Taylor aan en historische hij zijn grootste successen als songwriter voor andere artiesten.