Esta semana, Openai lanzó su tan esperado maniquí de peso despejado llamado GPT-OSS. Parte del atractivo de GPT-OSS es que puede ejecutarlo localmente en su propio hardware, incluidas Macs con Apple Silicon. Aquí le mostramos cómo comenzar y qué esperar.
Modelos y Macs
Primero, GPT-OSS viene en dos sabores: GPT-OSS-20B y GPT-OSS-120B. El primero se describe como un maniquí de peso despejado medio, mientras que el segundo se considera un maniquí de peso despejado pesado.
El maniquí medio es lo que Apple Silicon Macs con suficientes capital puede esperar ejecutar localmente. La diferencia? Espere que el maniquí más pequeño asombro más en comparación con el maniquí mucho más egregio oportuno a la diferencia de tamaño del conjunto de datos. Esa es la compensación de un maniquí más rápido que en verdad es capaz de ejecutarse en MAC de entrada escala.
Aún así, el maniquí más pequeño es una aparejo ordenada que está apto gratis si tiene una Mac con suficientes capital y una curiosidad sobre ejecutar modelos de verbo grandes localmente.
Además debe ser consciente de las diferencias con la ejecución de un maniquí lugar en comparación con, por ejemplo, ChatGPT. Por defecto, el maniquí lugar de peso despejado carece de muchas de las características de chatbot modernas que hacen que ChatGPT sea útil. Por ejemplo, las respuestas no contienen consideración para los resultados web que a menudo pueden cercar las alucinaciones.
Operai recomienda al menos 16 GB de RAM para ejecutar GPT-OSS-20B, pero las Mac con 32 GB de RAM o más obviamente funcionarán mejor. Según la feedback temprana del sucesor, 16 GB de RAM es verdaderamente el firme de lo que se necesita para cotejar. (La IA es una gran razón por la que Apple dejó de traicionar Mac con 8 GB de RAM no hace mucho tiempo).
Configurar y usar
A excepción de del preámbulo, en verdad comenzar es súper simple.
Primero, instale Ollama en su Mac. Esta es básicamente la ventana para interactuar con GPT-OSS-20B. Puede encontrar la aplicación en Ollama.com/download o descargar la lectura Mac desde este enlace de descarga.
A continuación, ensenada el terminal en su Mac e ingrese este comando:
ollama pull gpt-oss:20b
ollama run gpt-oss:20b
Esto le pedirá a su Mac que descargue GPT-OSS-20B, que utiliza cerca de de 15 GB de almacenamiento en disco.
Finalmente, puede iniciar Ollama y aspirar GPT-OSS-20B como su maniquí. Incluso puede colocar Ollama en el modo de avión en el panel de configuración de la aplicación para asegurar que todo esté sucediendo localmente. No se requiere inicio de sesión.
Para probar GPT-OSS-20B, simplemente ingrese un mensaje en el campo de texto y vea que el maniquí funcione. Nuevamente, los capital de hardware dictan el rendimiento del maniquí aquí. Ollama usará todos los capital que pueda al ejecutar el maniquí, por lo que su Mac puede ralentizarse mientras el maniquí está pensando.
Mi mejor Mac es un Air MacBook M4 de 15 pulgadas con 16 GB de RAM. Mientras que el maniquí funciona, es una tarea difícil incluso para la experimentación en mi máquina. Reponer a ‘Hola’ tomó un poco más de cinco minutos. Reponer a ‘quién era el 13º presidente’ tardó un poco más en cerca de de 43 minutos. Efectivamente quieres más RAM si planeas acontecer más de unos minutos experimentando.
¿Decide que desea eliminar el maniquí lugar y protestar ese espacio en disco? Ingrese este comando terminal:
ollama rm gpt-oss:20b
Para obtener más información sobre el uso de Ollama con GPT-OSS-20B en su Mac, consulte este expediente oficial. Alternativamente, puede usar LM Studio, otra aplicación Mac para trabajar con modelos AI.
