Durante los primeros años de The Beatles, John Lennon y Paul McCartney eran los principales responsables de escribir y/o cantar los temas del grupo, mientras que a George Harrison y a Ringo Starr se les concedían pocas oportunidades para incluir sus creaciones o ponerle voz a los tracks. En Please Please Me, el LP debut de los Fab Four, tanto el guitarrista como el baterista contaron con una sola pista para cantar, mientras que en With the Beatles, el violero pudo ser la voz principal de tres canciones, una de las cuales fue de su autoría: "Don't Bother Me".
Los otros dos tracks que Harrison interpretó para ese álbum fueron "Roll Over Beethoven", un cover de Chuck Berry, y "Devil in Her Heart", una adaptación de la canción “Devil in His Heart” escrita por Richard Drapkin y grabada por el grupo de R&B femenino de Detroit, The Donays.
“El manager de los Beatles, Brian Epstein, tenía la política de comprar al menos una copia de cada disco que se publicaba”, explicó Harrison en Anthology, según recuerda Far Out Magazine. “Si se vendía, pediría otro, o cinco o lo que sea. En consecuencia, tenía discos que no fueron éxitos en Gran Bretaña, ni siquiera en Estados Unidos”.
“Antes de ir a un concierto, nos reuníamos en la tienda de discos después de que cerrara y revisábamos los estantes para ver qué nuevas cosas había ahí... 'Devil In Her Heart' y 'Money' de Barrett Strong eran temas que habíamos elegido y tocado en la tienda, y pensamos que eran interesantes”, agregó.
A pesar de haber liderado a sus compañeros en la grabación de “Devil In Her Heart”, lo cierto es que Harrison no confiaba en que el track tuviera éxito en vivo, así que durante sus limitadas participaciones en los conciertos de los Beatles él prefería interpretar “Roll Over Beethoven”.
Con el correr del tiempo, ese lugar luego lo ocupó el cover de "Everybody's Trying to Be My Baby", la canción de Carl Perkins, que el cuarteto de Liverpool grabó para Beatles for Sale, y posteriormente la creación propia de Harrison titulada "If I Needed Someone", incluida en Rubber Soul.
