Yo te propongo que hagas primero el ordenamiento interno y luego limites. para eso puedes hacer subconsultas.
quedaría algo así
Código SQL:
Ver originalSELECT
t.id,
t.catid,
t.name,
t.userid,
t.subject
FROM
(
SELECT id,
catid,
name,
userid,
subject
FROM mensajes
GROUP BY thread
ORDER BY id DESC
)t
LIMIT 6;