Tanto <li> como <p> son elementos de bloque. Los dos producen un salto de línea y por defecto tienen un margen.
<img> es un elemento en línea que no tiene márgenes ni salto de línea predeterminados.
Si en la clase donde defines el background incluyes la propiedad margin:0 desaparecerán los márgenes.
Si necesitas evitar el salto de línea, puedes usar display:inline.