Razer AI Kit · IA Local

Centro de Desarrollo paraRazer AVA

Comunidad para developers y entusiastas del Razer AI Kit: IA local, Linux y personalización de Razer AVA. Únete para recibir novedades y estar listo cuando Razer abra su ecosistema.

¿QUÉ ES EL RAZER AI KIT?

Razer AIKit es un entorno de desarrollo de IA de código abierto en fase preview que lleva el rendimiento cloud-grade a tu escritorio. Ejecuta modelos de lenguaje (LLMs) en local sobre GPUs NVIDIA, escala la inferencia en un clúster de GPUs con Ray y vLLM, afina modelos con LoRA mediante LlamaFactory y explora más de 300.000 modelos de Hugging Face, todo con un stack Docker Compose que incluye Open WebUI, Jupyter Lab, Grafana y Prometheus.

IA local-first: ejecuta LLMs en tu equipo con privacidad total y latencia cero
Escalado multi-GPU con Ray para inferencia distribuida
Motor vLLM con PagedAttention para servir modelos con eficiencia de memoria
Fine-tuning con LoRA mediante LlamaFactory
GPUs NVIDIA (Compute Capability 7.0+): RTX 20/30/40/50, Blackwell, Hopper, Ada, Ampere
Ubuntu 22.04/24.04, Windows 11 vía WSL2, x86-64 y ARM64
LA ARQUITECTURA CENTRAL
01

Motor vLLM

Inferencia LLM de alto rendimiento y eficiencia de memoria. vLLM usa PagedAttention para servir modelos locales a velocidad de vanguardia en una sola GPU o en un clúster.

02

Ray

Framework de computación distribuida para escalar IA entre GPUs. Ray orquesta la inferencia multi-GPU y gestiona los recursos de forma eficiente para una multitarea fluida.

03

LlamaFactory

Kit de fine-tuning eficiente en parámetros. Recetas predefinidas para afinar Llama y otros modelos abiertos con LoRA en contextos de gaming y asistencia.

04

Open WebUI

Interfaz de chat local integrada en el puerto 1919. Interactúa con tus modelos en tu equipo, totalmente offline, desde una web limpia.

05

Docker y Dev Tools

Stack Docker Compose con Jupyter Lab (8888), Grafana (3000) y Prometheus (9090) para notebooks, monitorización y observabilidad.

06

AIKit CLI

Gestión del ciclo de vida de modelos desde la terminal con rzr-aikit. Clona, ejecuta y afina modelos de los más de 300.000 checkpoints de Hugging Face.

PREPÁRATE PARA LA ERA DE LA ASISTENCIA HOLOGRÁFICA

Únete a la red de AVA Hologram. Accede a material exclusivo, alertas de disponibilidad y guías de personalización e IA.

Documentación SDK:Guías técnicas de integración y arquitectura de modelos de IA.

Tutoriales paso a paso:Aprende a configurar tu asistente holográfico desde cero y sin código.

Skins & Prompts:Acceso anticipado a librerías de personalización estética y de comportamiento.

Disponibilidad:Sé el primero en saber cuándo habrá unidades disponibles en tu región.