Necesitas un grupo de negación (?!), que no es lo mismo a un rango de negación [^] por si las dudas.
El uso es bastante sencillo:
Usamos los marcadores (boundaries) \b para delimitar por cualquier carácter que no sea alfanumérico, después usamos (?!4) que significa "que no sea un 4" seguido de una secuencia numérica.
En resumen así debería funcionar la expresión.