Consulta con dos Count

[Tarzan]

Hola a todos,

necesito hacer una consulta que me muestre la suma de dos campos.
Las tablas son las siguientes:

(2 Registros)
Tabla Retos
idReto 1
idUserGanador 1
idReto 2
iduserGanador 1

3 Registros
Tabla Torneos
idTorneo 1
idUserGanador 1
idTorneo 2
idUserGanador 1
idTorneo 3
idUserGanador 2

Pues bien, si yo quiero obtener los retos y torneos que el usuario 1 ha ganado pongo:

SELECT COUNT(retos.idUserGanador), COUNT(social_torneos.idUserGanador) FROM retos INNER JOIN social_torneos ON social_torneos.idUserGanador=retos.iduserGanador
WHERE retos.idUserGanador = 1

Pues debería salirme Retos 2 torneos 2 y me muestra 4 y 4.
¿Por qué me pasa esto?, ¿Cómo creo la consulta para que me devuelva los retos y torneos ganados por ese usuario?

Un saludo.