Decodificar datagramas udp con datos de video

[exherbatan]

Hola a todos, espero que estén muy bien.

Tengo el siguiente problema: Luego de capturar durante 10 segundos unos datagramas UDP (alrededor de 5000) de una cámara de video ip marca Verint con la librería pcap en c++. tengo el problema de renderizarla y para eso debo decodificarla, había pensado en OpenCV, pero el problema de fondo es que no se como disponer los bytes de los datagramas, es decir en algunos datagramas hay 1400 bytes y en otros 700 por ejemplo, entonces no se si disponer de alguna forma la matriz para el rojo, el verde y el azul... es decir tengo los datos en bruto, pero no se como decodificar eso para ver el video capturado. no se si alguno de uds sabrá este tema.

de ante mano mucha gracias.