NVIDIA ha presentado una demo tecnológica de Chat with RTX, una herramienta que nos proporciona un chatGPT en la PC, ya que utiliza «Modelos de Lenguaje de Gran Escala» (LLM) de forma local. Este chatbot tiene la capacidad de generar resúmenes y ofrecer respuestas a partir de videos y documentos proporcionados por los usuarios. Para usar Chat with RTX, se requiere una PC con Windows equipada con tarjetas gráficas NVIDIA GeForce RTX de las series 30 o 40, las cuales deben contar con al menos 8 GB de memoria de video.
Parece ser que Chat with RTX es muy bueno para procesar archivos PDF. Parece ser que el chatbot de NVIDIA funciona mejor que Copilot de Microsoft en esta tarea, extrayendo información clave sin problemas. Y algo que tiene mejor Chat with RTX, es que da una respuesta casi instantánea, no tenemos retrasos como suelen observarse cuando se utilizan los chatbots en la nube como ChatGPT o Copilot.
Chat with RTX Tu ChatGPT en la PC
Al instalar Chat with RTX, se instalan un servidor web y un programa Python en la PC del usuario, que usa LLM Mistral o Llama 2. Los núcleos tensor en la GPU NVIDIA RTX se utilizan para acelerar el procesamiento de consultas. La instalación de Chat with RTX en una PC con un procesador Intel Core i7-13700K y una tarjeta gráfica NVIDIA GeForce RTX 4070 demoro aproximadamente 30 minutos. La aplicación ocupa unos 40 GB de espacio en disco y el programa de Python consume unos 3 GB de RAM cuando se ejecuta. Una vez iniciado, el usuario accede al chatbot a través de una interfaz web y la línea de comando muestra códigos de progreso y error.
Dato a tener en cuenta, Chat with RTX no recuerda, no tiene memoria, por lo que una nueva solicitud no puede basarse en el contenido de la anterior.
Sin embargo, Chat with RTX sirve como una excelente demos técnica para mostrar el potencial y las capacidades de un chatbot de IA operando directamente en una PC de usuario final. Es una buena opción para los que no quieren utilizar servicios de inteligencia artificial en la nube por suscripción como Copilot Pro o ChatGPT Plus.
Fuente y descargar: NVIDIA