La diferencia se nota en ciertos objetivos y dependiendo de que quieras fotografiar.
La primera deferencia es la construcción del propio objetivo y los cristales. Los de la "Línea roja" más conocidos como serie
L, suelen ser estancos contra polvo y salpicaduras. Suelen ser de construcción mas robusta para aguantar golpes, caidas, etc. También los cristales tienen una mejor construcción consiguiendo menos difracción y menos aberraciones cromáticas.
Tal y como pones el objetivo en la cámara y tiras la primera foto, se reconoce perfectamente como realza más los colores y la definición de la foto.
El motor USM de enfoque es interno, esto quiere decir que el objetivo es fijo, no tiene parte móviles en el exterior, excepto el 24-70 f/2.8
L que tiene el zoom externo y si tiene parte móvil visible.
Después, como ejemplos, entre un 50mm f/1.2
L (1500€ aprox.) y el 50mm f/1.4(400€ aprox.), el segundo, la diferencia de precio es muy grande, y realmente la diferencia final de la imagen es sensiblemente mejor la del f/1.2, pero no para pagar ese precio.
Si nos vamos al 24-70 f/2.8
L, no tiene comparación con ningún otro objetivo. Este es un todoterreno realmente bueno. Suele ser un objetivo que no falta en una mochila de un fotógrafo profesional, deportes, moda... se adapta perfectamente a las situaciones.
Si nos vamos a zoom's, aquí si existe una diferencia abismal, y se cumple lo que comentas de a f menor mejor objetivo.
Un 70-200 f/2.8
L Es un objetivo con una calidad extremadamente buena para deportes y moda. Con un duplicador tienes un 400 f/5.6 real con la calidad de un serie
L. Y con el factor de aumento de la 7D se convierte en un 640mm f/5.6.
Si lo comparas con su hermano pequeño, 70-200 f/4.5-5.6, ya tenemos la diferencia de l diafragma, esto se nota bastante, conseguir un buen desenfoque con un 200 5.6 no es tarea fácil. La construcción salta a primera vista las carencias de este con respecto a su hermano mayor. Y la calidad de imagen ya ni hablamos.
En resumen, un serie
L siempre es una buena apuesta si te lo puedes permitir, pero se aconseja valorar las distintas opciones, ya que en ocasiones como pasa con el 50mm, no es necesario tener ese gasto.
Espero te sirva de ayuda o referencia, y cualquier duda solo tienes que preguntar.
Saludos,
P.D.: Perdón por la garrafada que he soltado