IPV6 y IPV4 en campo INT

[leif_sk8er]

Buenas,

He estado buscando informacion sobre como almacenar las IPs en la base de datos. En los textos que he encontrado hay quien dice de almacenar el campo tanto IP4 (165.14.165.45) como IP6 (FEBC:A574:382B:23C1:AA49:4592:4EFE:9982), como cadena, pero claro eso es ineficiente para la base de datos por que un varchar ocupa mucho mas.

Para ello existe ip2long que pasa una ip4 a un int, pero al parecer tiene problemas con ip6. He estado buscando y he encontrado este par de funciones que pasa tanto ip4 y 6 a un int.

Código PHP:

function ip2bin($ip){
    if(filter_var($ip, FILTER_VALIDATE_IP, FILTER_FLAG_IPV4) !== false)
        return base_convert(ip2long($ip),10,2);
    if(filter_var($ip, FILTER_VALIDATE_IP, FILTER_FLAG_IPV6) === false)
        return false;
    if(($ip_n = inet_pton($ip)) === false) return false;
    $bits = 15; // 16 x 8 bit = 128bit (ipv6)
    while ($bits >= 0){
        $bin = sprintf("%08b",(ord($ip_n[$bits])));
        $ipbin = $bin.$ipbin;
        $bits--;
    }
    return $ipbin;
}
 
function bin2ip($bin){
   if(strlen($bin) <= 32) // 32bits (ipv4)
       return long2ip(base_convert($bin,2,10));
   if(strlen($bin) != 128)
       return false;
   $pad = 128 - strlen($bin);
   for ($i = 1; $i <= $pad; $i++)
   {
       $bin = "0".$bin;
   }
   $bits = 0;
   while ($bits <= 7)
   {
       $bin_part = substr($bin,($bits*16),16);
       $ipv6 .= dechex(bindec($bin_part)).":";
       $bits++;
   }
   return inet_ntop(inet_pton(substr($ipv6,0,-1)));
}
 

El resultado generado por ejemplo para la IP6 es algo como el siguiente:
11111110101111001010010101110100001110000010101100 10001111000001101010100100100101000101100100100100 1110111111101001100110000010

Con 128 digitos....... Ahora la duda del millon: ¿Como guardo 128 digitos? Por que en ningun sitio se explica, hay quien dice que usando 2 campos bigint , y en ese mismo sitio pone que cada campo bigint tiene 64 caracteres de capacidad!! :S :S
Los campos bigint unsigned tienen 20 caracteres de capacidad (18.446.744.073.709.551.615 , http://www.desarrolloweb.com/articulos/1054.php), es decir, necesitarias 7 columnas de bigint donde en cada columna se guarden 20, y en la ultima 8.....

No puede ser esa la forma de hacerse :S

7 columnas para almacenar una IP?? Parece de risa.


¿¿No hay una forma general donde se pueda guardar tanto IP4 y 6 de forma general en un campo int ocupando lo minimo posible??

[gnzsoloyo]

El resultado generado por ejemplo para la IP6 es algo como el siguiente:
11111110101111001010010101110100001110000010101100 10001111000001101010100100100101000101100100100100 1110111111101001100110000010

Con 128 digitos....... Ahora la duda del millon: ¿Como guardo 128 digitos? Por que en ningun sitio se explica, hay quien dice que usando 2 campos bigint , y en ese mismo sitio pone que cada campo bigint tiene 64 caracteres de capacidad!! :S :S
Los campos bigint unsigned tienen 20 caracteres de capacidad (18.446.744.073.709.551.615 , http://www.desarrolloweb.com/articulos/1054.php), es decir, necesitarias 7 columnas de bigint donde en cada columna se guarden 20, y en la ultima 8.....

Perdón por la gracia...
¡Nada que ver!
En realidad en las bases de datos (MySQL en este caso), los números no existen como caracteres. Un BIGINT no usa 20 caracteres para almacenarse, usa 8 bytes, porque los números no se almacenan en caracteres sino como binarios.
Un BIGINT es un numero de 64 bits, por lo que si quieres guardar el valor binario de un IPV6 deberías usar 2 BIGINT nada más, uno para cada segmento de 64 bits, transformado en entero sin signo.
¿Se entiende la idea?
Si bien no existe una implementación actual que te genere el número desde una dirección IPV6, si existe para IPV4 (NTOA() y su inversa ATON()). Se estima que cuando se difunda completamente el IPV6 se habrá implementado para esta última.
Como sea, la cosa puede ser mucho más fácil de lo que piensas.

[leif_sk8er]

mmmmm, creo que no acabo de comprender....

Entonces te refieres a que si hago un insert solamente con la mitad de ese numero binario que puse arriba, es decir, el siguiente...:
11111110101111001010010101110100001110000010101100 1000111100000110101

¿Deberia guardarse?

Me sale un error indicandome que el numero es mas grande que el maximo permitido 18.446.744.073.709.551.615

:S

He encontrado una posible solucion, la posteo a continuacion...

[leif_sk8er]

He hecho una prueba de ver cuanto ocupan 50 millones de registros en la estructura del primer mensaje de este hilo, usando el campo IP como varchar (128). El resultado es que ocupa 4,9 Gb.

Por otro lado acabo de hacer una prueba con una posible solucion que he encontrado. Consiste en que el campo IP sea decimal (39,0) unsigned. La misma cantidad de registros (50 millones) ocupan 2.6 Gb, es decir, practicamente la mitad....

Como he pasado una IP4 o IP6 a decimal? He usado un par de funciones que he encontrado, tb pongo la que devuelve de nuevo a la cadena IP original:

Código PHP:

function inet_ptod($ip_address) 
{ 
    // IPv4 address 
    if (strpos($ip_address, ':') === false && strpos($ip_address, '.') !== false) { 
    $ip_address = '::' . $ip_address; 
    } 
    // IPv6 address 
    if (strpos($ip_address, ':') !== false) { 
    $network = inet_pton($ip_address); 
    $parts = unpack('N*', $network); 
    foreach ($parts as &$part) { 
    if ($part < 0) { 
    $part = bcadd((string) $part, '4294967296'); 
    } 
    if (!is_string($part)) { 
    $part = (string) $part; 
    } 
    } 
    $decimal = $parts[4]; 
    $decimal = bcadd($decimal, bcmul($parts[3], '4294967296')); 
    $decimal = bcadd($decimal, bcmul($parts[2], '18446744073709551616')); 
    $decimal = bcadd($decimal, bcmul($parts[1], '79228162514264337593543950336')); 
    return $decimal; 
    } 
    // Decimal address 
    return $ip_address; 
} 
/** 
 * Convert an IP address from decimal format to presentation format 
 * 
 * @param string $decimal An IP address in IPv4, IPv6 or decimal notation 
 * @return string The IP address in presentation format 
 */ 
function inet_dtop($decimal) 
{ 
    // IPv4 or IPv6 format 
    if (strpos($decimal, ':') !== false || strpos($decimal, '.') !== false) { 
    return $decimal; 
    } 
    // Decimal format 
    $parts = array(); 
    $parts[1] = bcdiv($decimal, '79228162514264337593543950336', 0); 
    $decimal = bcsub($decimal, bcmul($parts[1], '79228162514264337593543950336')); 
    $parts[2] = bcdiv($decimal, '18446744073709551616', 0); 
    $decimal = bcsub($decimal, bcmul($parts[2], '18446744073709551616')); 
    $parts[3] = bcdiv($decimal, '4294967296', 0); 
    $decimal = bcsub($decimal, bcmul($parts[3], '4294967296')); 
    $parts[4] = $decimal; 
    foreach ($parts as &$part) { 
    if (bccomp($part, '2147483647') == 1) { 
    $part = bcsub($part, '4294967296'); 
    } 
    $part = (int) $part; 
    } 
    $network = pack('N4', $parts[1], $parts[2], $parts[3], $parts[4]); 
    $ip_address = inet_ntop($network); 
    // Turn IPv6 to IPv4 if it's IPv4 
    if (preg_match('/^::\d+.\d+.\d+.\d+$/', $ip_address)) { 
    return substr($ip_address, 2); 
    } 
    return $ip_address; 
}
 

Bueno, eso ahorra la mitad.... Es un buen paso no?, se podrá ahorrar todabia mas?? Parece mentira como un solo campo en solo 50 millones hace que algo ocupe el doble...

[leif_sk8er]

Se me duplico el mensaje, edito esto por que no consigo borrar este mensaje :S

[gnzsoloyo]

Porque esto:

11111110101111001010010101110100001110000010101100 1000111100000110101

No es un binario... Eso es un entero de del orden 1 x 10E64^.
Lo que debes hacer es difidir la estructura en dos partes y determinar qué número de 64 bits representa, convertirlo a entero sin signo y almacenar eso.
o sea, si el número de 64 bits fuese: 11111110101111001010010101110100001110000010101100 10001111000001101011111111010111100101001010111010 0001110000010101100 1000111100000110101, lo que haces es dividirlo en dos partes:
11111110101111001010010101110100001110000010101100 1000111100000110101 /
11111110101111001010010101110100001110000010101100 1000111100000110101
Luego conviertes cada binario a entero sin signo: 18355728099832439745 / 18355728099832439745 (aproximado, la calculadora trabaja con signo) y almacenas en un campo cada uno.
Para recuerarlo debes hacer el paso inverso:
1) Recuperar el binario desde el entero.
2) Completarlo sin es necesario.
3) Recrear el binario de 128 bits.
4) Recuperar el IPV6.

¿Se entiende?

[leif_sk8er]

He hecho la prueba, y mejora la solucion del decimal. He creado una tabla identica a la del primer mensaje del hilo, pero el campo IP que sea bigint, y he puesto otro llamado IP2 con big int.

Entonces he ejecutado este script:

Código PHP:

$fecha = time();
$ip = '11111110101111001010010101110100001110000010101100100011110000011010101001001001010001011001001001001110111111101001100110000010';
$parte1 = substr($ip, 0, 63);
$parte2 = substr($ip, 64, 128);
 
 
$n = 0;
while($n < 200000){
mysql_query("INSERT INTO acceso VALUES ('$id', '$fecha', 0, $fecha, '".bindec($parte1)."', '".bindec($parte2)."')");
$n++;
}
 

Esto ha insertado 200mil registros, ocupando 8.3 MB (que ha 50 millones son 1.9 GB)


Conclusion a 50 millones de registros:

Usando un campo varchar de 128 y guardando la ip en binario: 4.9 GB
Usando un campo decimal (39,0) y guardando la ip en decimal: 2.6 GB
Usando 2 campos BIGINT, convirtiendo la ip a binario, partiendo en 64 caracteres, y pasandolo a entero guardando cada parte en cada columna: 1.9 GB


Resultado: Mejor solucion los BIGINT de las propuestas! No se si estareis de acuerdo, pero almenos esa a sido mi conclusion tras el testeo.

[leif_sk8er]

Creo que en mi proceso, el bindec no funciona :S
Por que he intentado reconstruirlo y los decbin de ese numero me devuelven cosas totalmente distintas, de hecho, la segunda parte pasandole directamente un decbin, de lo que en una variable acabo de pasar a bindec no funciona, me devuelve 0 :S


Valla jaleo!

[leif_sk8er]

Creo que en mi proceso, el bindec no funciona :S
Por que he intentado reconstruirlo y los decbin de ese numero me devuelven cosas totalmente distintas, de hecho, la segunda parte pasandole directamente un decbin, de lo que en una variable acabo de pasar a bindec no funciona, me devuelve 0 :S

Alomejor es por que conincide que la segunda parte empieza con cero o alguna cosa rara de ese estilo


Valla jaleo!

[gnzsoloyo]

La idea sería crear una función recursiva que recupere el binario desde un entero, pero ese tema excede los límites de este foro.
¿Por qué no consultas en el de PHP? Allí están los expertos en el lenguaje y seguro te pueden ayudar en esa parte.

[leif_sk8er]

Funcion recursiva?? No entiendo para que haria falta.

Una funcion recursiva es una funcion que se llama a si misma, pero ¿para que haria falta aqui?

[gnzsoloyo]

Para que te genere la cadena del binario correctamente expresada...
AL menos yo tenía en C, C++ y VB.Net funciones recursivas de pocas líneas que hacían precisamente eso.