KNIME: Componente GPT3

Como muchos de vosotros sabéis, últimamente me estoy centrando en la plataforma KNIME no-code / low-code para explorar soluciones flexibles tanto para el procesamiento de datos (ETL) como para el procesamiento del lenguaje natural (NLP).

Utilizar modelos de lenguaje de última generación como GPT-3 dentro de herramientas visuales permite que perfiles no técnicos aprovechen capacidades de IA avanzada sin escribir código. Con mis compañeros Alejandro Ruberte y Miguel Salmerón, diseñamos este componente para integrar OpenAI directamente en flujos de trabajo de KNIME.

Una pequeña introducción a GPT3

GPT3 (Generative Pre-trained Transformer 3) es uno de los modelos más avanzados de OpenAI. Su arquitectura está diseñada específicamente para la generación de texto, lo que permite realizar casi cualquier tarea de NLP (clasificación, extracción, resumen) mediante estrategias de few-shots o zero-shot.

Nuestra idea fue crear un componente genérico y fácil de usar para completar información en tablas, aprovechando estas capacidades.

Caso de uso: Topic Modeling

Imagina que necesitas analizar la bibliografía actual sobre computación cuántica. El proceso habitual implica:

1. Recuperación: Consultar fuentes como Semantic Scholar (S2).
2. Procesamiento: Aplicar técnicas de clustering como K-Means o LDA (Latent Dirichlet Allocation).
3. Descripción: Aquí es donde falla el Topic Modeling tradicional; genera listas de palabras clave pero no una descripción natural del tema. Aquí es donde GPT3 entra al rescate.

El flujo de trabajo en KNIME

El flujo completo se divide en varias etapas modulares:

1. S2 API Search: Recupera artículos de Semantic Scholar usando nodos REST estándar.
2. Clustering: Aplica técnicas basadas en embeddings (SPECTER) y LDA paralelo.
3. GPT3 Info Completion: El componente diseñado a medida que genera las descripciones de los temas.

Detalles del Componente GPT3 Info Completion

El componente encapsula la complejidad técnica y expone una interfaz sencilla:

• Configuración de Motor: Permite seleccionar el modelo de OpenAI (Davinci, Curie, etc.).
• Gestión de Costes: Incluye un calculador de tokens (usando el tokenizador de GPT2) para estimar el gasto antes de ejecutar la llamada a la API.
• Spending Limit: Permite fijar un presupuesto máximo para evitar sorpresas en la factura de OpenAI.
• Few-shot Learning: Puedes incluir filas de ejemplo en tu tabla para guiar al modelo sobre el formato y estilo de respuesta deseado.

Resultados

En nuestras pruebas sobre computación cuántica, el modelo fue capaz de inferir descripciones precisas para los clusters generados por LDA:

Como se puede observar, partiendo de términos técnicos como “algorithm, code, security, cryptography”, GPT3 generó una etiqueta descriptiva coherente como “Quantum Security and Cryptography”.

Conclusiones

Este experimento demuestra que la mezcla de herramientas no-code (KNIME) con capacidades de IA avanzada (GPT3) permite:

• Automatizar tareas analíticas complejas en tiempo récord.
• Democratizar el acceso a la IA para perfiles de negocio.
• Crear componentes reutilizables y escalables dentro de una organización.

Puedes descargar el flujo de trabajo completo desde el Hub de KNIME en este enlace.