TL;DR: Montar tu propia infraestructura on-premise para LLM solo sale a cuenta con mucho volumen, datos que no pueden salir de casa o tareas que un modelo abierto resuelve bien.
- Por debajo de 50 millones de tokens mensuales, pagar por uso a un proveedor suele ser más barato.
- La escasez de memoria ha cuadruplicado en un año el precio de una RTX 5090 en España.
- Los modelos MoE ya corren en tarjetas de consumo de 12 GB apoyadas en la RAM del PC.
- Antes de comprar, alquila GPU por horas y mide tu carga real.
Una infraestructura on-premise para LLM es el conjunto de equipos propios que ejecuta un modelo de lenguaje sin pasar por la API de OpenAI, Anthropic o Google. Puede estar en tu casa, en tu oficina o en tu centro de datos. La duda de cualquier equipo técnico es directa: ¿sale más barato comprar tarjetas gráficas o seguir pagando por cada millón de tokens?
La respuesta ha cambiado en 2026 por dos motivos que tiran en sentido contrario. Los modelos abiertos son mucho más capaces y caben en máquinas modestas, pero la memoria se ha encarecido tanto que el hardware cuesta varias veces más que hace un año. Esta guía hace las cuentas con precios de octubre y explica en qué casos compensa cada opción.
Qué es un LLM on-premise y en qué se diferencia de la API
Un LLM on-premise es un modelo de pesos abiertos que descargas y ejecutas en hardware que controlas tú. Las consultas no salen de tu red y no hay factura por token: pagas el equipo, la electricidad y las horas de quien lo mantiene.
Con la API ocurre lo contrario. No compras nada, envías el texto a los servidores del proveedor y pagas según los tokens de entrada y de salida. El proveedor se ocupa de las máquinas, de las actualizaciones y de que el servicio aguante los picos.
La pieza que hace posible la vía propia son los motores de inferencia. Ollama prima la sencillez en un solo equipo, mientras que vLLM está diseñado para servir a muchos usuarios a la vez, con agrupación continua de peticiones. Ambos ofrecen una API compatible con la de OpenAI, así que una aplicación que ya usa la nube puede apuntar al servidor propio cambiando una dirección.
Por qué ahora: modelos más capaces y memoria más cara
La novedad de 2026 es que un modelo grande ya no exige un servidor de empresa. Qwen3.8-Flash-Next, publicado por el equipo Qwen de Alibaba en agosto, tiene 125.000 millones de parámetros, pero solo activa 6.000 millones en cada token. Lo consigue con una arquitectura de mezcla de expertos (MoE), que reparte el trabajo entre cientos de submodelos y usa solo unos pocos cada vez.
El 4 de octubre, un proyecto llamado Strata reunió 940 puntos y 420 comentarios en Hacker News. Es un motor de código abierto que ejecuta ese modelo en un PC de juegos. Según su documentación, bastan una tarjeta con 12 GB de memoria y 32 GB de RAM. En una RTX 5070 escribe a 94 tokens por segundo con la versión comprimida a 2 bits. La propia documentación reconoce que las versiones más comprimidas pierden algo de calidad.
La otra cara es el precio del hardware. La demanda de los centros de datos de IA ha encarecido la RAM y la memoria de vídeo. Ya lo contamos al explicar cómo montar una nube privada en un VPS. En España, el mismo modelo de RTX 5090 que hace un año costaba 2.380,95 euros se vende ahora a 9.999 euros, según Geeknetic. NVIDIA ha subido su miniordenador DGX Spark de 128 GB hasta 6.950 dólares, casi un 75 % más que hace un año según The Register.
Cuánto cuesta de verdad la API
La API cuesta poco o mucho según el modelo, y la distancia entre gamas es enorme. Estos son los precios por millón de tokens que publican OpenAI y Anthropic a 24 de octubre de 2026, en tarifa estándar:
| Modelo | Entrada (1M tokens) | Salida (1M tokens) | Gama |
|---|---|---|---|
| GPT-6 Astra | 10 $ | 50 $ | Máxima |
| Claude Fable 5.1 | 10 $ | 50 $ | Máxima |
| Claude Opus 5.5 | 4 $ | 20 $ | Alta |
| GPT-6.1 Sol | 2 $ | 10 $ | Media |
| Claude Sonnet 5.5 | 2 $ | 10 $ | Media |
| GPT-6 Luna | 0,10 $ | 0,50 $ | Económica |
| Claude Haiku 5.5 | 0,10 $ | 0,50 $ | Económica (peticiones de hasta 100.000 tokens) |
Los dos proveedores rebajan un 50 % los trabajos por lotes, que no se responden al momento; en OpenAI se entregan en un plazo de hasta 24 horas. OpenAI aplica además un recargo del 10 % si exiges que los datos se procesen en una región concreta.
Para ponerlo en números, imagina una empresa que procesa 50 millones de tokens al mes, cuatro quintas partes de entrada y el resto de salida. Con un modelo de gama media le costaría unos 180 dólares al mes. Con uno de gama máxima subiría a unos 900, y con uno económico se quedaría en apenas 9 dólares.
Cuánto cuesta montar tu propio LLM
El coste propio empieza por la memoria, porque el modelo tiene que caber en ella. A 4 bits, cada parámetro ocupa medio byte. Un modelo de 27.000 millones de parámetros necesita unos 13,5 GB solo para los pesos, y uno de 70.000 millones, unos 35 GB. A eso se suma la memoria del contexto, que crece con la longitud de las conversaciones y con el número de usuarios simultáneos.
| Opción | Memoria | Precio orientativo | Para qué sirve |
|---|---|---|---|
| PC con tarjeta de 12 GB y mucha RAM | 12 GB de vídeo + 32 GB o más de RAM | El de un PC de juegos de gama media | Modelos MoE grandes con Strata, para un solo usuario |
| RTX 5090 | 32 GB | De 8.991 a 9.999 € en España (octubre de 2026) | Modelos de unos 27.000 millones de parámetros a 4 bits para un equipo pequeño |
| DGX Spark de 64 GB | 64 GB unificada | 4.999 $ | Modelos de 26.000 a 35.000 millones de parámetros, según NVIDIA |
| DGX Spark de 128 GB | 128 GB unificada | 6.950 $ | Modelos más grandes y ajuste fino |
| Servidor con GPU de 80 GB | 80 GB | Unos 15.000 $ por una A100, según el estudio citado abajo | gpt-oss-120b de OpenAI en una sola tarjeta |
| H100 alquilada | 80 GB | Desde 1,70 $ la hora; mediana de 3,49 $ | Probar sin comprar o cubrir picos |
OpenAI publicó en 2025 sus modelos abiertos gpt-oss con licencia Apache 2.0. El grande, gpt-oss-120b, funciona en una sola GPU de 80 GB, y el pequeño, gpt-oss-20b, puede ejecutarse con 16 GB de memoria. Son una buena vara de medir porque la propia OpenAI los compara con sus modelos de pago.
El consumo también cuenta, aunque pesa menos de lo que parece. Una RTX 5090 tiene una potencia gráfica total de 575 W. Ocho horas diarias durante 20 días laborables suman 92 kWh al mes. A 25,09 céntimos por kWh, lo que pagan los hogares españoles de consumo medio según Eurostat, son unos 23 euros. El resto del ordenador añade algo más.
Alquilar es la vía intermedia. Una H100 a la mediana del mercado, 3,49 dólares la hora, cuesta unos 560 dólares al mes si la usas 160 horas laborables. No sale barato para siempre, pero permite medir tu carga real antes de gastar miles de euros.
El punto de equilibrio: cuándo se amortiza el equipo
El punto de equilibrio llega cuando lo que te ahorras en API cubre lo que has pagado por el equipo. Un estudio de investigadores vinculados a la Universidad Carnegie Mellon, publicado en arXiv, lo calculó para varios modelos abiertos frente a las API comerciales. Los modelos pequeños se amortizaban en pocos meses, los medianos en unos dos años y los grandes en cinco. Su conclusión es que el despliegue propio resulta viable sobre todo con volúmenes de 50 millones de tokens al mes o más, o con requisitos estrictos de residencia de datos.
Su configuración más barata era un Qwen3 de 30.000 millones de parámetros en una RTX 5090, que se pagaba en 2,5 meses frente a GPT-5. Pero el estudio suponía una tarjeta de 2.000 dólares, su precio de salida. Con la tarjeta a unos 9.000 euros, cinco veces ese precio al cambio actual, el plazo crece en la misma proporción si el resto no cambia, y ya ronda el año.
Con el ejemplo de 50 millones de tokens mensuales, las cuentas quedan así. Frente a un modelo de gama media, una RTX 5090 de 9.000 euros tardaría más de cuatro años en pagarse, incluso descontando la luz. Frente a uno de gama máxima se amortizaría en torno a un año. Eso exige que un modelo abierto te dé la calidad que necesitas, la condición que más se olvida. La capacidad no es el problema: 10 millones de tokens de salida en 160 horas son unos 17 por segundo de media.
Cuándo compensa y cuándo no
Compensa montar tu propia infraestructura cuando se dan varias de estas condiciones a la vez:
- Volumen alto y estable: decenas de millones de tokens todos los meses, no picos ocasionales.
- Datos que no deben salir de tu red, como historiales clínicos, contratos o código propietario.
- Tareas acotadas que un modelo abierto mediano resuelve bien: clasificar, extraer datos o resumir documentos internos.
- Necesidad de funcionar sin conexión o con una latencia que no dependa de terceros.
- Alguien en el equipo capaz de mantener el servidor, actualizar los modelos y vigilar su seguridad.
La API sigue siendo la mejor opción si tu uso es bajo o irregular, si necesitas el modelo más capaz del mercado o si nadie puede dedicar horas al mantenimiento. La privacidad, por sí sola, tampoco decide siempre, porque algunos proveedores procesan los datos en la región que elijas a cambio de un recargo.
En la práctica, muchas organizaciones acaban en un modelo híbrido. El trabajo repetitivo y sensible va al servidor propio, y las preguntas difíciles, a la API. Si quieres empezar en pequeño, la guía para montar un servidor de IA en casa explica cómo poner en marcha asistentes privados. Y el repaso de los errores al montar IA local te ahorra los tropiezos de principiante.
Errores comunes
- Comparar con la API más cara. Si la tarea la resuelve un modelo económico, 50 millones de tokens cuestan unos 9 dólares al mes y ningún equipo propio compite con eso.
- Contar solo la tarjeta. Faltan el resto del ordenador, la fuente de 1.000 W que pide una RTX 5090, la luz y las horas de mantenimiento.
- Usar un motor de un solo usuario para todo el equipo. Por defecto, Ollama procesa una sola petición por modelo cada vez; para muchos usuarios simultáneos está vLLM.
- Bajar a 2 bits sin medir. El modelo cabe en menos memoria, pero la calidad cae; pruébalo con tus propios documentos antes de decidir.
- Olvidar la memoria del contexto. Que los pesos quepan no basta: las conversaciones largas y los usuarios simultáneos piden varios gigas más.
- Comprar en plena escasez sin probar. Valida el modelo en horas de GPU alquilada o en el PC que ya tienes antes de invertir miles de euros.
Preguntas frecuentes
¿A partir de qué volumen compensa un LLM on-premise?
No hay una cifra universal, porque depende del modelo de API con el que compares. Como referencia, el análisis de Carnegie Mellon habla de 50 millones de tokens mensuales o más, y los modelos pequeños son la excepción que se paga antes. Si hoy gastas unas pocas decenas de dólares al mes, el hardware propio difícilmente se recupera antes de quedarse viejo.
¿Cuánta memoria necesita un modelo de 70.000 millones de parámetros?
Comprimido a 4 bits, sus pesos rondan los 35 GB, y conviene reservar varios gigas extra para el contexto. Eso deja corta una sola RTX 5090 y apunta a dos tarjetas o a un equipo con 64 GB o más de memoria unificada. Los MoE también necesitan sitio para todos sus parámetros, aunque pueden repartirlos entre la gráfica y la RAM.
¿Es más seguro tener el modelo en tus servidores que usar la API?
Es más privado, porque las consultas no viajan a otra empresa, pero la seguridad pasa a ser cosa tuya: parches, accesos, copias y registros. Un servidor de IA mal protegido expone justo los datos que querías guardar. Si lo que te preocupa es dónde se procesan, pregunta antes a tu proveedor por la residencia de datos.
¿Cómo puedo probar sin comprar hardware?
Tienes dos caminos baratos. Uno es alquilar una GPU por horas y desplegar en ella el mismo modelo que planeas usar, con tu carga real. El otro es empezar en el ordenador que ya tienes: gpt-oss-20b se conforma con 16 GB y basta para comprobar si un modelo abierto resuelve tus tareas.
¿Un modelo comprimido a 4 bits es mucho peor que el original?
Menos de lo que se suele pensar. Un trabajo presentado en ACL 2025, con más de medio millón de evaluaciones, concluyó que cuantizar solo los pesos a 4 bits rinde de forma comparable a hacerlo a 8. El riesgo crece al bajar a 2 o 3 bits, así que mide la calidad con tus propios ejemplos.
Referencias externas:
- arXiv — A Cost-Benefit Analysis of On-Premise Large Language Model Deployment (Pan et al.)
- OpenAI — Precios de la API
- Anthropic — Precios de Claude
- OpenAI — Presentación de gpt-oss
- Hugging Face — Ficha de Qwen3.8-Flash-Next
- GitHub — Strata, motor de inferencia para Qwen3.8-Flash-Next
- Hacker News — Hilo sobre Strata (4 de octubre de 2026)
- The Register — Nuevo DGX Spark de 64 GB y subida del de 128 GB
- Geeknetic — La RTX 5090 cuadruplica su precio en España
- NVIDIA — Especificaciones de la GeForce RTX 5090
- ACL Anthology — Accuracy-Performance Trade-Offs in LLM Quantization (ACL 2025)
- vLLM — Documentación oficial
- AMCompute — Precios de alquiler de la H100 en la nube
- Selectra — Precio del kWh por tramo de consumo (datos de Eurostat)
