Creo que debes aplicar la regla a los documentos del tipo imagen. Por ejemplo los que tengan la extensión .jpg, gif, png ...
Además creo que el path de la imagen de error debe comenzar con barra: '/' 
Ejemplo: 
Código:
 <FilesMatch "^.+\.(jpg|jpeg|gif|png|bmp|JPG|JPEG|GIF|PNG|BMP)$">
   Order Deny,Allow
   Allow from all
   ErrorDocument 404 /images/error404.gif
</FilesMatch>