Ejecutar localmente modelos de inteligencia artificial de decenas de miles de millones de parámetros suele exigir cantidades de memoria fuera del alcance de muchos equipos domésticos. Sin embargo, el usuario de Reddit Medicine_Blogscanner ha conseguido cargar Qwen3.8-27B cuantizado a 4 bits distribuyendo su memoria entre cuatro dispositivos diferentes mediante RAMDeck, utilizando como nodo principal un portátil Windows equipado con solo 12 GB de RAM.
El experimento combina un portátil Windows, un mini PC con GeForce RTX 3060, un Mac mini y un smartphone Android, sumando la memoria disponible de todos ellos a través de la red local. Qwen3.8-27B consigue arrancar y realizar inferencia, aunque con una contrapartida enorme: el rendimiento registrado ronda únicamente 1,92 tokens por segundo, muy lejos de lo deseable para una experiencia conversacional ágil.
Qwen3.8-27B necesita normalmente bastante más memoria
El problema al que se enfrentaba el usuario era principalmente de capacidad. Una versión convencional de Qwen3.8-27B cuantizada a 4 bits necesita aproximadamente entre 15 y 17 GB de memoria disponible, combinando VRAM y RAM, dependiendo de la implementación, el contexto utilizado y otros parámetros de ejecución.
Eso deja fuera a un portátil equipado únicamente con 12 GB de memoria si se pretende cargar todo el modelo localmente. La situación sería todavía más complicada utilizando el modelo sin cuantizar, ya que la versión completa puede requerir aproximadamente entre 55 y 60 GB de memoria combinada, una capacidad reservada normalmente a estaciones de trabajo, servidores o configuraciones con grandes cantidades de RAM y VRAM.
Medicine_Blogscanner decidió evitar esa limitación física distribuyendo la carga. Para ello utilizó RAMDeck, una herramienta de código abierto que permite combinar recursos de diferentes dispositivos conectados mediante una red local, repartiendo entre ellos diferentes porciones necesarias para ejecutar el modelo.
La idea no consiste en convertir mágicamente toda esa memoria en un único banco de RAM físico. Los datos continúan residiendo en dispositivos independientes y deben viajar entre ellos mediante la red, introduciendo una latencia y un ancho de banda muy inferiores a los que existirían entre una GPU y su propia VRAM.
Cuatro dispositivos aportan memoria al mismo modelo
El portátil Windows con 12 GB actúa como nodo principal y destina aproximadamente 3,4 GB de su memoria a Qwen3.8-27B. El grueso de la capacidad procede del segundo equipo utilizado en la prueba.
Ese mini PC incorpora una GeForce RTX 3060 y aporta alrededor de 20 GB combinando VRAM y memoria del sistema, convirtiéndose en la pieza más importante de la configuración distribuida.
A ellos se suma un Mac mini, que proporciona otros 3,7 GB de memoria, mientras que un smartphone Android contribuye con aproximadamente 1 GB adicional.
En conjunto, la configuración demuestra que hardware completamente diferente puede colaborar para alojar un mismo modelo, mezclando Windows, un sistema con GPU NVIDIA, macOS y Android dentro de una única prueba distribuida.
Esto resulta particularmente interesante porque el objetivo no es alcanzar récords de rendimiento. El experimento busca demostrar que equipos antiguos o secundarios pueden aportar recursos que de otro modo permanecerían sin utilizar, permitiendo cargar modelos que individualmente no cabrían en ninguno de ellos.
El precio de sumar memoria por red son solo 1,92 tokens por segundo
La gran limitación aparece en el rendimiento. Medicine_Blogscanner registró aproximadamente 1,92 tokens por segundo durante la inferencia, una velocidad demasiado baja para mantener una conversación fluida comparable a la obtenida con un modelo ejecutándose íntegramente en una GPU suficientemente rápida.
También se comunicó una latencia de alrededor de 25 ms en la configuración utilizada, aunque este dato no debe confundirse con el tiempo total necesario para generar cada respuesta. La velocidad de tokens deja claro que el cuello de botella global sigue siendo considerable.
El problema es inherente al planteamiento. Cuando diferentes partes de un modelo están repartidas entre máquinas independientes, cada etapa que necesita información almacenada en otro nodo depende del rendimiento de la red y de la capacidad de procesamiento del dispositivo remoto.
Incluso una red doméstica rápida se encuentra muy lejos del ancho de banda proporcionado por la memoria GDDR de una tarjeta gráfica moderna. Una GeForce RTX puede mover cientos de gigabytes por segundo dentro de su subsistema de memoria, mientras que Ethernet o WiFi introducen varios órdenes de magnitud de diferencia en ancho de banda y latencia.
Por ello, RAMDeck puede solucionar el problema de capacidad, pero no elimina automáticamente el problema de rendimiento. El modelo cabe, pero eso no significa que pueda ejecutarse a una velocidad cómoda.
Una cuantización de 2 bits tendría mucho más sentido
Varios usuarios que analizaron el experimento señalaron que una alternativa más práctica sería utilizar una versión de Qwen3.8-27B cuantizada a 2 bits, reduciendo todavía más la memoria necesaria para mantener el modelo cargado.
La cuantización disminuye la precisión utilizada para representar sus pesos y permite reducir considerablemente el espacio ocupado. A cambio, una cuantización más agresiva puede provocar pérdida de calidad en las respuestas, por lo que existe un equilibrio entre capacidad, velocidad y precisión.
Otra posibilidad sería abandonar directamente los 27.000 millones de parámetros y optar por modelos de alrededor de 13B, considerablemente más fáciles de ejecutar sobre hardware doméstico y capaces de proporcionar una tasa de generación mucho más elevada.
Desde un punto de vista práctico, cualquiera de esas soluciones probablemente resulte más útil que distribuir un modelo 27B sobre cuatro dispositivos heterogéneos. Sin embargo, el valor del experimento está precisamente en demostrar hasta dónde puede llevarse el reparto de memoria utilizando hardware existente.
No convierte la RAM de varios equipos en VRAM de una gran GPU
Hay además una distinción importante. Sumar las cantidades de memoria aportadas por los distintos nodos no equivale a disponer de una GPU con 28 o 30 GB de VRAM unificada.
Una tarjeta gráfica con suficiente memoria puede mantener gran parte del modelo cerca de sus unidades de cálculo y acceder a él mediante un bus extremadamente rápido. En una configuración distribuida doméstica, los datos tienen que atravesar interfaces mucho más lentas y, además, son procesados por arquitecturas completamente diferentes.
Esto explica por qué configuraciones profesionales destinadas a modelos de IA utilizan tecnologías específicas de interconexión de alta velocidad entre aceleradores. La distribución funciona mucho mejor cuando el enlace entre dispositivos está diseñado para mover enormes cantidades de datos con una latencia mínima.
RAMDeck adopta otro enfoque: aprovechar lo que ya tiene el usuario. Su principal ventaja es económica y experimental, porque permite reutilizar un portátil, un mini PC, un Mac y hasta un smartphone como partes de una misma carga de IA sin comprar una estación de trabajo nueva.
La prueba de Medicine_Blogscanner demuestra así algo técnicamente muy llamativo, pero también deja muy claras sus limitaciones: Qwen3.8-27B cuantizado a 4 bits puede cargarse repartiendo memoria entre cuatro dispositivos, pero los 1,92 tokens por segundo muestran que resolver la capacidad no resuelve el rendimiento. Para un uso diario, una cuantización más agresiva o un modelo más pequeño sigue siendo una solución mucho más razonable.
Vía: Wccftech
