[APORTE] Función extraer etiquetas cadena de texto usando artículos y preposiciones

[jotaincubus]

Buen dia,

Pues, yo se que debe haber una forma mas sencilla de lograrlo, o talvez esta no sea la mejor manera y todas esas cosas.

Quiero compartirles algo que hice para extraer las palabras realmente importantes para crear etiquetas o keywords ya sea para un campo en la base de datos para hacer un buscador, o para lo que pueda servir.

este es el código:

Código PHP:

<?php
function conseguirEtiquetas($texto){
 
    //separamos la cadena de texto por espacios
    $separarTexto = explode(" ", $texto);
 
    /* con este foreach lo que hago es que quito las palabras que sean 
    de menos de 3 caracteres como lo son las, los, un, una y todas esas */
    foreach($separarTexto as $valor){
        $caracteres = strlen($valor); // cuento el numero de caracteres
        if($caracteres > '3'){ // verifico que sea mayo que 3
            $etiquetas[] = $valor; // agrego la palabra al array etiquetas si es mayor que 3
        }   
    }
// pasamos todos las palabras que existan dentro del array a minusculas
$etiquetas = unserialize(strtolower(serialize($etiquetas)));
 
/* defino los arrays para las palabras que no deben estar dentro 
de las etiquetas utilice articulos y preposiciones del idioma español
pueden colocar mas palabras o lo que quieran dentro de los arrays para 
que las palabras sean eliminadas del resultado final */
$articulosPreposiciones = array(
    "articulos" => array('unos', 'unas', 'este','estos', 'esos', 'aquel', 'aquellos', 'esta', 'estas', 'esas', 'aquella', 'aquellas', 'éste', 'éstos', 'ésos', 'aquél', 'aquéllos', 'ésta', 'éstas', 'ésas', 'aquélla', 'aquéllas'),
    "preposiciones" => array('ante', 'bajo', 'cabe', 'desde', 'contra', 'entre', 'hacia', 'hasta', 'para', 'según', 'segun', 'sobre', 'tras')
);
 
/*- utilizo la funcion de PHP array_dif para que me compare las palabras
con las preposiciones y los articulos y me devuelva solo lo que en
realidad necesitamos, osea las palabras que merecen ser etiquetas */
$resultado = array_diff($etiquetas, $articulosPreposiciones['articulos'], $articulosPreposiciones['preposiciones']);
 
// retorno el resultado
return $resultado;
}
 
/* UTILIZANDO LA FUNCION */
 
$probando = "Este es un texto muy largo que quiero ver si funciona";
$etiquetas = conseguirEtiquetas($probando);
print_r($etiquetas); // imprime Array ( [1] => texto [2] => largo [3] => quiero [4] => funciona )
?>
 

Si alguien quiere meterle la mano, o quiere por ejemplo hacer algun comentario o arreglo pues BIENVENIDO SEA...

Espero que les ayude en sus desarrollos.

ATT: Juan Esteban

[IEKK]

Gracias por compartir. +K

Un par de puntos:

-Eliminas palabras que ortográficamente no son correctas como por ejemplo "aquéllas"

-Te faltan preposiciones importantes como DE

- Los advervios y pronombres también deberían sustraerse de la cadena

-Lo que llamas artículos no lo son determinates artículos, los cuales además faltan: (el, la, lo, los, las).
En conclusión te faltan y no son lo que nombras, no los citaré todos, pero te quedan unos cuantos.

Preposiciones:
http://es.wikipedia.org/wiki/Preposici%C3%B3n

Determinantes:
http://es.wikipedia.org/wiki/Determi...%C3%ADstica%29

Saludos.

[abimaelrc]

Muy bueno me gustó mucho, hice una versión, se puede mejorar un poco más pero es lo que pude hacer rapido

Código PHP:

<?php
function tags($string, $encoding = 'ISO-8859-1'){
    $string = trim(strip_tags(html_entity_decode(urldecode($string))));
    if(empty($string)){ return false; }
 
    $extras = array(
        'p'=>array('ante', 'bajo', 'con', 'contra', 'desde', 'durante', 'entre',
                   'hacia', 'hasta', 'mediante', 'para', 'por', 'pro', 'segun',
                   'sin', 'sobre', 'tras', 'via'
        ),
        'a'=>array('los', 'las', 'una', 'unos', 'unas', 'este', 'estos', 'ese',
                   'esos', 'aquel', 'aquellos', 'esta', 'estas', 'esa', 'esas',
                   'aquella', 'aquellas', 'usted', 'nosotros', 'vosotros',
                   'ustedes', 'nos', 'les', 'nuestro', 'nuestra', 'vuestro',
                   'vuestra', 'mis', 'tus', 'sus', 'nuestros', 'nuestras',
                   'vuestros', 'vuestras'
        ),
        'o'=>array('esto', 'que'),
    );
 
    $string = strtr(mb_strtolower((string)$string, $encoding),
                    'âàåáäèéêëïîìíôöòóúûüùñ',
                    'aaaaaeeeeiiiioooouuuun'
    );
    if(preg_match_all('/\pL{3,}/s', $string, $m)){
        $m = array_diff(array_unique($m[0]), $extras['p'], $extras['a'], $extras['o']);
    }
    return $m;
}
print_r(tags('Esto es un prueba, NO IMPORTA EL TAMAÑO se supone que muestre toda la prueba y únicas palabras.'));
 

En las preposiciones no le coloqué los acentos porque los quito antes de verificar si se encuentra.

[jotaincubus]

Iniciado por IEKK

-Te faltan preposiciones importantes como DE

-Lo que llamas artículos no lo son determinates artículos, los cuales además faltan: (el, la, lo, los, las).
En conclusión te faltan y no son lo que nombras, no los citaré todos, pero te quedan unos cuantos.

Hola amigo muchas gracias por tu información, la verdad no coloque algunas cosas porque estas serán eliminadas con el foreach... si te fijas este solo tomas las palabras que sean mayores de 3 letras, entonces no vi la necesidad de colocar esos tipos de artículos en los array de comparación.

De todas formas esta función es sencilla de modificar, solo seria colocar la palabra que se quiere eliminar en uno de los arrays y esta sera sacada de la cadena, solo la hice como ejemplo para que la gente tenga una base de para poder trabajar.

Muchas gracias por tu aporte.

[jotaincubus]

Muy bueno me gustó mucho, hice una versión, se puede mejorar un poco más pero es lo que pude hacer rapido

O.o este esta muy bueno, muchas gracias por mejorarlo abimaelrc es un gusto que le puedas hacer una mejora tan sustancial al código que plantee.

Una pregunta: No es mejor sacar las palabras que tengan menos de 3 caracteres ? así como lo hace foros del web ?

[jotaincubus]

Una pregunta: No es mejor sacar las palabras que tengan menos de 3 caracteres ? así como lo hace foros del web ?

Estuve pensando y creo que es un error lo que yo planteo de sacar las palabras de menos de 3 caracteres.

Si la persona coloca "Curso de PHP" entonces PHP seria sacado de la cadena, quedando solo Curso entonces seria un grave error sacar esa etiqueta.

En este caso seria mejor manejar los artículos como (los, las, les... etc) en el array artículos y eliminar el foreach.

De todas formas esperare mas opiniones para ver como podemos mejorar el código.

Gracias.

[IEKK]

Iniciado por jotaincubus

Hola amigo muchas gracias por tu información, la verdad no coloque algunas cosas porque estas serán eliminadas con el foreach... si te fijas este solo tomas las palabras que sean mayores de 3 letras, entonces no vi la necesidad de colocar esos tipos de artículos en los array de comparación.

De todas formas esta función es sencilla de modificar, solo seria colocar la palabra que se quiere eliminar en uno de los arrays y esta sera sacada de la cadena, solo la hice como ejemplo para que la gente tenga una base de para poder trabajar.

Muchas gracias por tu aporte.

Sí me he fijado que quitan palabras menores de 3 letras, pero ¿Por qué?
Hay muchas palabras que podrían ser tags de 3 letras.
Sin ir muy lejos: php(aunque son siglas), sol, ajo... y tantísimas más.

Por eso los ejemplos que había visto eliminaban por tipo de palabra no por longitud, lo comentaba por eso

[GatorV]

Muy buen aporte, agregado a los aportes

[jotaincubus]

Buen día, decidí utilizar el código aportado por abimaelrc y lo coloque en mi proyecto, y O.o sorpresa, yo utilizo UTF-8 en mis paginas y en mi base de datos, entonces no me funciono con los caracteres especiales como son tildes, diéresis y esas cosas.

Asi, que utilie la codificacion UTF-8 en:

Código PHP:

function tags($string, $encoding = 'UTF-8'){
 

Pero resulta que no me funcionaba, después realice pruebas y me encontré que strtr de PHP era el que ponía el problema a la hora de trabajar con UTF-8

Me toco hacerle unos cambios al codigo de nuestro amigo para que me funcionara con UTF-8.

Si alguien tiene una mejor forma de arreglarlo pues estare muy atento y agradecido.

Código PHP:

<?php
    function tags($string, $encoding = 'UTF-8'){
        $string = trim(strip_tags(html_entity_decode(urldecode($string))));
        if(empty($string)){ return false; }
     
        $extras = array(
            'p'=>array('ante', 'bajo', 'con', 'contra', 'desde', 'durante', 'entre',
                       'hacia', 'hasta', 'mediante', 'para', 'por', 'pro', 'segun',
                       'sin', 'sobre', 'tras', 'via'
            ),
            'a'=>array('los', 'las', 'una', 'unos', 'unas', 'este', 'estos', 'ese',
                       'esos', 'aquel', 'aquellos', 'esta', 'estas', 'esa', 'esas',
                       'aquella', 'aquellas', 'usted', 'nosotros', 'vosotros',
                       'ustedes', 'nos', 'les', 'nuestro', 'nuestra', 'vuestro',
                       'vuestra', 'mis', 'tus', 'sus', 'nuestros', 'nuestras',
                       'vuestros', 'vuestras'
            ),
            'o'=>array('esto', 'que'),
        );      
        
        $string = mb_strtolower((string)$string, $encoding);
        $string = utf8_decode($string);
        $string = strtr($string,
                        utf8_decode(âàåáäèéêëïîìíôöòóúûüùñ),
                        'aaaaaeeeeiiiioooouuuun'
        );
        if(preg_match_all('/\pL{3,}/s', $string, $m)){
            $m = array_diff(array_unique($m[0]), $extras['p'], $extras['a'], $extras['o']);
        }
        return $m;
    }
?>
 

Espero le sirva a alguien.

[abimaelrc]

Si le estas colocando ut8_decode es porque el archivo no esta codificado como tal. Codifica el archivo a utf8 sin BOM y dejanos saber si funciona sin el utf8_decode.

[jotaincubus]

Iniciado por abimaelrc

Si le estas colocando ut8_decode es porque el archivo no esta codificado como tal. Codifica el archivo a utf8 sin BOM y dejanos saber si funciona sin el utf8_decode.

Hola, muchas gracias por responder, mira que no tengo nada de nada raro en la pagina, solo tengo el meta asi:

Código HTML:

<meta http-equiv="Content-Type" content="text/hatml; charset=utf-8" />
 

Y dentro de las etiquetas <body></body> tengo la función tal cual la desarrollaste, entonces si le hago un echo a $m me sale mal si le colocaba UTF-8 entonces me toco hacerle el decode.

Pero si en el juego de caracteres colocaba esto:

Código HTML:

<meta http-equiv="Content-Type" content="text/hatml; charset=ISO-8859-1" />
 

Si que funcionaba perfecto el codigo.

Pero si coloco en el body una palabra cualquiera como "Niño" me aparece muy bien la palabra cuando coloco el UTF-8.

No se que este pasando la verdad.

[abimaelrc]

Como te indiqué el archivo tiene que ser utf8 sin BOM, pero el archivo no que dentro del archivo ingreses ese código, si no que el archivo tiene que ser utf8 sin BOM.

[jotaincubus]

Iniciado por abimaelrc

Como te indiqué el archivo tiene que ser utf8 sin BOM, pero el archivo no que dentro del archivo ingreses ese código, si no que el archivo tiene que ser utf8 sin BOM.

Hola, verifique con el NOTEPAD++ y en la parte codificación dice claritico "Codificar en UTF-8 sin BOM"

Raro por que solo me esta pasando con la letra "ñ" las tildes funcionan bien.