En primer lugar, creo que estas cometiendo un error con la funcion y no deberías de poner Response.Write.Lo correcto sería:
Cita: <%
function mostrar_ext(ext)
if ext="jpg" then
mostrar_ext = "<img src='images/ayuda.gif'"
else if ext="doc" then
mostrar_ext = "<img src='images/pdf.jpg'>"
end if
end if
end function
%>
En segundo lugar:
response.Write("<tr><td><a href='blabla.asp'>" & mostrar_ext(ext(1)) & "</a></td></tr>")
Si te das cuenta, en tu función pones un response.Write y creo que hay es donde tienes el problema. Lo que tienes que hacer es que tu función te devuelva el código de la imagen, pero escribirlo lo escribes en el response.write general.