IA en casa: Qwen 3.5 en una PC vieja con una Radeon RX 580

4 de noviembre de 2026 · Notas de laboratorio · Lee la versión en inglés

Esta semana configuré un modelo de IA que funciona por completo en una computadora de mi casa. No hay suscripción, no hay clave de API y nada sale de mi red doméstica. Quería responder dos preguntas. ¿Puede una computadora de escritorio vieja con una tarjeta gráfica de 2017 ejecutar un modelo de IA realmente útil? ¿Y puede ese modelo ayudar a mantener este sitio en buen estado para los buscadores? La respuesta a ambas es que sí, con algunas sorpresas en el camino, entre ellas una sobre el costo que no esperaba.

El equipo

Todo el equipo es una computadora de escritorio de oficina ya retirada más una tarjeta gráfica:

• Tarjeta gráfica: XFX Radeon RX 580 con 8 GB de memoria de video (VRAM)
• Procesador: Intel Core i5-4440, 4 núcleos a 3.1 GHz, de 2013
• Tarjeta madre: ASUS H81M-PLUS
• Memoria: 16 GB de DDR3-1600 en dos módulos de 8 GB
• Almacenamiento: SSD de 1 TB
• Fuente de poder: 500 W

El número que más importa es la VRAM. Un modelo solo es rápido cuando cabe por completo en la memoria de la tarjeta gráfica, y 8 GB alcanzan para un modelo de 9 mil millones de parámetros comprimido a unos 4 bits por peso. Una vez cargado el modelo, el procesador viejo casi no importa, porque la tarjeta gráfica hace casi todas las operaciones. La tarjeta madre H81 usa la ranura gráfica a velocidad PCIe 2.0, pero eso solo agrega unos segundos cuando el modelo se carga por primera vez.

Antes de poder hacer cualquier otra cosa, tuve que cambiar algunas opciones del BIOS. Puse el tipo de sistema operativo de Secure Boot en Other OS, porque el instalador de Linux de mi memoria USB se negaba a arrancar de otra forma. Desactivé Fast Boot, configuré la computadora para que se encienda sola después de un apagón y, después de instalar la RX 580, cambié la pantalla principal del video de la tarjeta madre a la tarjeta gráfica PCIe.

El software

• Fedora Server 44, instalado sin escritorio para que los 8 GB de VRAM se dediquen al modelo
• Mesa RADV, el controlador Vulkan de código abierto para tarjetas AMD
• Ollama, que descarga y ejecuta modelos de IA, con su motor Vulkan
• Qwen 3.5 9B, un modelo abierto del equipo Qwen de Alibaba que entiende texto e imágenes (una descarga de unos 6 GB)
• Open WebUI, una interfaz de chat parecida a ChatGPT, que corre en un contenedor de Podman que se inicia al arrancar
• Un pequeño script de Python en un temporizador de systemd que hace el trabajo nocturno de SEO

El mayor problema con esta tarjeta es que ROCm, el kit de herramientas de AMD que usa la mayoría del software de IA en hardware AMD, ya no es compatible con el chip Polaris de la RX 580. En su lugar funciona Vulkan, un estándar gráfico que casi todas las GPU admiten. La instalación mínima de Fedora Server no incluía Vulkan, así que agregué los paquetes vulkan-loader y mesa-vulkan-drivers. Después de eso, Ollama encontró la tarjeta de inmediato. Estas son las opciones de Ollama con las que terminé:

OLLAMA_VULKAN=1                # usar el motor Vulkan
OLLAMA_FLASH_ATTENTION=1       # operaciones de atención más rápidas y ligeras
OLLAMA_KV_CACHE_TYPE=q8_0      # guardar la memoria de la conversación a la mitad del tamaño
OLLAMA_CONTEXT_LENGTH=8192     # espacio para unas 6,000 palabras por solicitud

Con esas opciones, el modelo se carga con 5.6 GB, funciona al 100% en la tarjeta gráfica y escribe unas 9 palabras por segundo, un poco más rápido de lo que lee la mayoría de la gente. Los números completos de velocidad están en las tablas comparativas al final de esta entrada.

Por seguridad, Ollama no tiene contraseña, así que solo escucha en la propia máquina. La interfaz de chat solo se puede abrir desde mi red doméstica o desde mi VPN de casa. Nada del servidor está abierto a internet.

Lo que aprendí

Apaga el modo de razonamiento en tareas sencillas

Qwen 3.5 tiene un modo de razonamiento en el que redacta y revisa su trabajo antes de responder. En mi primera prueba, gastó unos 1,500 tokens razonando antes de escribir una respuesta de dos oraciones, lo que tardó alrededor de dos minutos. Con el razonamiento apagado, la misma respuesta tardó menos de 8 segundos y fue igual de buena. Razonar vale la pena en problemas de química o física de varios pasos, pero no en tareas cortas de redacción.

Las opciones ocultas pueden frenarlo todo sin que te des cuenta

Mis primeros chats tardaban más de 100 segundos cada uno, y las estadísticas mostraban que entraban unos 4,100 tokens al modelo para una página que debía ser de unos 1,400. Cuando mandé la misma página directamente a Ollama, tardó 23 segundos. La diferencia era la opción Builtin Tools (herramientas integradas) de Open WebUI, que agrega sin avisar instrucciones para búsqueda web, memoria y otras herramientas a cada mensaje. Al desactivarla en mi modelo de SEO, cada solicitud bajó a 1,430 tokens y 26 segundos.

Los modelos pequeños no saben contar

Pedí meta descripciones de entre 140 y 155 caracteres. El modelo me daba una y otra vez descripciones de 189 y 197. Los modelos pequeños piensan en fragmentos de palabras, no en letras, así que las longitudes exactas les cuestan trabajo. La solución fue dejar que el código haga el conteo. Mi script mide cada descripción y, si es demasiado larga, le dice al modelo exactamente cuántas palabras quitar. Eso funciona mucho mejor que repetir la regla.

Los modelos pequeños copian ejemplos e inventan cosas

Cuando puse en las instrucciones una descripción de muestra de mi página de AP Chemistry 4.1, el modelo empezó a devolver esa muestra casi palabra por palabra. Cambiarla por un ejemplo de otra materia lo resolvió. También inventó un número de tema: puso la etiqueta “AP Chemistry 4.1” a una página de estrategias para el aula, aunque ese número no aparece en la página. Ahora el script revisa que cualquier número de tema en una descripción aparezca de verdad en la página.

Revisa el disco después de instalar Fedora Server

La configuración automática de Fedora Server le dio al sistema solo 15 GB de mi disco de 1 TB y dejó el resto sin usar. Cada modelo de IA pesa varios gigabytes, así que justo después de instalar amplié el volumen del sistema para usar todo el disco.

Cómo lo uso en ZornScience

Este sitio tiene casi 600 páginas y a muchas les faltaba una meta descripción, el breve resumen que aparece debajo del título de una página en los resultados de búsqueda. Escribirlas a mano tomaría días. Ahora el servidor las hace de noche.

Todas las noches, de la medianoche a las 4 a.m., el script busca páginas en inglés publicadas que no tienen descripción y envía el texto de cada una a Qwen. Revisa cada resultado para ver la longitud, las palabras prohibidas, los guiones largos, los elementos “próximamente” y los números de tema inventados, y pide un arreglo específico cuando algo falla. Las descripciones que pasan todas las revisiones se publican. Las que siguen fallando se guardan en una hoja de cálculo para que yo las revise. El script nunca sobrescribe una descripción que ya existe y usa su propia cuenta de WordPress con permisos limitados. Aquí hay una que escribió:

AP Chemistry 4.1: learn how to tell physical from chemical changes using evidence like gas formation or color shifts. Free notes, slides, and worked examples.

(La descripción está en inglés porque se escribió para la página en inglés.)

Lo siguiente que planeo es que escriba texto alternativo para imágenes (puede ver imágenes), descripciones en español para las páginas de /es/ y resúmenes de los screencasts de mis lecciones. Claude sigue impulsando el tutor de este sitio y todo lo que requiere un criterio cuidadoso.

Cuánto cuesta

Las dos tablas de abajo comparan un mismo trabajo: escribir una meta descripción y un título SEO para cada página y entrada de este sitio, unas 600 en total, en inglés y en español. Para obtener un tamaño de página realista, pasé 30 de mis páginas de lecciones de AP Chemistry, Chemistry, Physics y Quantitative Skills por la misma limpieza de texto que usa mi script. La página promedio dio unos 1,800 tokens de texto, con un rango de unos 1,200 a 2,400, y las instrucciones agregan unos 360 más, así que cada solicitud lee unos 2,200 tokens. La electricidad se calcula a $0.19 por kilowatt-hora, una tarifa típica con todo incluido en mi zona, con el servidor consumiendo unos 50 W en reposo y 190 W trabajando. Las cifras de Claude usan los precios de la API de Claude Sonnet 5.5 con esfuerzo medio. Son estimaciones, no lecturas de medidor ni recibos.

Velocidad

	Qwen 3.5 9B en mi RX 580	Claude Sonnet 5.5 (esfuerzo medio)
Lectura de una página	unos 63 tokens por segundo, o sea unos 35 segundos para una solicitud de 2,200 tokens	casi instantánea
Escritura	unos 12 tokens por segundo	varias veces más rápida
Razonamiento antes de responder	apagado	encendido, unos 500 tokens por página
Tiempo por página	unos 40 segundos (de 25 a 55 en las ejecuciones reales)	unos 10 segundos
Todo el sitio	unas 7 horas, o 2 noches en mi horario de medianoche a 4 a.m.	de 1.5 a 2 horas una página a la vez, o normalmente menos de una hora con la API Batch

Costo

	Qwen 3.5 9B en mi RX 580	Claude Sonnet 5.5 (esfuerzo medio)
Entrada, por millón de tokens	unos $0.16 en electricidad	$2 ($1 con la API Batch)
Salida, por millón de tokens	unos $0.84 en electricidad	$10 ($5 con la API Batch)
Tokens por página	unos 2,200 de entrada y 60 de salida	unos 2,400 de entrada y 600 de salida, casi todos de razonamiento
Costo por página	unos $0.0004 (1/25 de centavo)	unos $0.011 (unos $0.0055 con la API Batch)
Costo fijo	unos $7 al mes por tener el servidor encendido las 24 horas	ninguno
Total de las etiquetas SEO de todo el sitio	unos $0.25	unos $6.60 (unos $3.30 con la API Batch)
Total incluyendo un mes con el servidor encendido	unos $7.25	unos $6.60 (unos $3.30 con la API Batch)

Aquí está la sorpresa: solo para SEO, Claude es más barato. Su total para todo el sitio, incluso sin el descuento de la API Batch, es menor que un mes de tener esta PC encendida. El tiempo es la otra gran diferencia. Claude terminaría todo el sitio en una tarde, mientras que mi RX 580 necesita dos noches. Como esas ejecuciones ocurren mientras duermo, la menor velocidad no me cuesta nada en la práctica, y mi propio tiempo para revisar los resultados marcados es el mismo en ambos casos.

Aun así, el servidor local tiene sentido para mí porque el SEO no es su único trabajo. Me da un asistente de chat privado y siempre disponible, experimentos ilimitados sin tener que vigilar la factura de una API, un lugar para procesar lo que prefiero no enviar a la nube y una segunda vida para un equipo que estaba sin usar. Si solo necesitara etiquetas SEO, usaría Sonnet con la API Batch, o configuraría el servidor para que duerma durante el día y despierte para su ejecución nocturna.

Nada mal para una tarjeta gráfica de 2017. Compartiré una actualización aquí, en Notas de laboratorio, cuando haya terminado con los pendientes y empiece con el texto alternativo.