Taalas presenta HC1 y promete 10× más TPS con Llama 3.1 8B y 20× menos coste
La startup Taalas asegura haber encontrado una vía alternativa para reducir la latencia en LLM y mejorar el rendimiento por token: convertir modelos de IA en silicio dedicado mediante un enfoque de ASIC específico por modelo. Su primer producto, el HC1, integra Llama 3.1 8B directamente en hardware y, según la compañía, logra 10× más … Taalas presenta HC1 y promete 10× más TPS con Llama 3.1 8B y 20× menos coste









