Extracción de palabras clave en python
Yahoo dispone de un servicio de extracción de palabras clave (http://developer.yahoo.com/search/content/V1/termExtraction.html) que tiene una baja recuperación pero una alta precisión. En otras palabras, le ofrece un pequeño número de términos de alta calidad, pero pasa por alto muchos de los términos de sus documentos.
Termine (http://www.nactem.ac.uk/software/termine/) es un servicio web del Reino Unido que también es relativamente ruidoso y propone muchas palabras clave falsas. Sin embargo, me parece un poco más preciso que topia.termextract. ES UNA OPINIÓN DIFERENTE.
Una forma de eliminar los resultados con demasiadas palabras clave (por ejemplo, topia.termextract y termine) es crear un vocabulario de términos que aparecen con frecuencia y, a continuación, descartar los términos propuestos que no están en el vocabulario. En otras palabras, haga dos pases sobre su corpus: En la primera pasada, cuente la frecuencia de cada palabra clave. En la segunda pasada, descarte las palabras clave que sean demasiado raras.
El resultado final es un recuento de la frecuencia de todas las palabras del texto. A continuación, puede tomar estos valores y dividirlos por el número total de palabras para obtener un porcentaje de frecuencia. Cualquier tratamiento posterior depende de usted.
Generador de texto a palabras clave
Las frases clave, los términos clave, los segmentos clave o simplemente las palabras clave son la terminología que se utiliza para definir los términos que representan la información más relevante contenida en el documento. Aunque la terminología es diferente, la función es la misma: caracterizar el tema tratado en un documento. La tarea de extracción de palabras clave es un problema importante en la minería de textos, la extracción de información, la recuperación de información y el procesamiento del lenguaje natural (PLN)[3].
Los métodos para la extracción automática de palabras clave pueden ser supervisados, semisupervisados o no supervisados[4][5] Los métodos no supervisados pueden dividirse a su vez en estadísticos simples, lingüísticos o basados en grafos, o en métodos de conjunto que combinan algunos o la mayoría de estos métodos. [6]
Analizador de palabras clave de texto
La extracción de frases clave es una de las funciones que ofrece Azure Cognitive Service for Language, una colección de algoritmos de aprendizaje automático e IA en la nube para desarrollar aplicaciones inteligentes que implican lenguaje escrito. Utilice la extracción de frases clave para identificar rápidamente los conceptos principales del texto. Por ejemplo, en el texto «La comida estaba deliciosa y el personal era maravilloso», la extracción de frases clave devolverá los temas principales: «comida» y «personal maravilloso».
Utilice el contenedor Docker disponible para desplegar esta función en las instalaciones. Estos contenedores Docker le permiten acercar el servicio a sus datos por razones de cumplimiento, seguridad u otras razones operativas.
Un sistema de IA no sólo incluye la tecnología, sino también las personas que la utilizarán, las personas que se verán afectadas por ella y el entorno en el que se despliega. Lea la nota de transparencia para la extracción de frases clave para aprender sobre el uso y despliegue responsable de la IA en sus sistemas. También puede consultar los siguientes artículos para obtener más información:
Extracción de palabras clave con Yake
En este artículo, tomaremos un conjunto de datos del mundo real y realizaremos la extracción de palabras clave utilizando algoritmos de aprendizaje automático supervisado. Intentaremos extraer etiquetas de películas a partir de un texto de sinopsis de una película.
Esta es una forma muy eficiente de obtener información de una gran cantidad de datos de texto no estructurados. Pongamos un ejemplo: Los portales de venta en línea, como Amazon, permiten a los usuarios hacer reseñas de productos. Si queremos obtener información sobre un producto en particular, por ejemplo, un teléfono inteligente popular, no podemos revisar todas y cada una de las reseñas. En lugar de ello, podríamos utilizar técnicas de extracción de palabras clave para encontrar reseñas que mencionen especialmente la cámara, la batería, el rendimiento o cualquier otro atributo.
En este artículo, tomaremos un conjunto de datos del mundo real y realizaremos la extracción de palabras clave utilizando algoritmos de aprendizaje automático supervisado. Intentaremos extraer etiquetas de películas a partir de un texto de sinopsis de una película.
El caso de uso en el mundo real para la tarea mencionada es etiquetar una película con etiquetas adicionales además de los géneros. Esto podría ser una información muy útil para que el espectador decida si quiere ver la película o no. Este sistema automatizado de extracción de etiquetas y palabras clave también ayudará a crear mejores sistemas de recomendación para predecir películas similares y ayudar a los usuarios a saber qué esperar de una película.