Ejecutar un LLM (maniquí de estudios de idiomas) en su PC de Windows se volvió significativamente más casquivana gracias a la útil de IA particular de Foundry Microsoft. Es completamente sin cargo y ofrece una amplia variedad de modelos de IA para designar.
¿Qué es Foundry Restringido Ai?
Microsoft anunció recientemente Foundry Restringido, que está diseñado principalmente para desarrolladores. La útil gratuita le permite ejecutar LLM en su PC localmente, no se necesita Internet. No obtendrá los mismos resultados que lo harían con las populares herramientas de IA basadas en la estrato, como ChatGPT, Gemini o Copilot, pero sigue siendo una forma divertida de constatar con los modelos de IA.
Como todavía es nuevo y técnicamente en una paisaje previa pública solamente, todavía es suficiente elemental, así que no esperes mínimo impresionante. Con el tiempo, Foundry Restringido probablemente mejorará y tendrá más funciones.
Relacionado: Apartado de Foundry Restringido, puede utilizar estos métodos para configurar sus propios chatbots de IA fuera de recta.
FUNTRY REQUISITOS LOCALES
Ayer de instalar cualquier cosa, asegúrese de que su PC sea capaz de manejar modelos de IA locales de Foundry. Sí, idealmente, Microsoft quiere que tenga un Copilot+ PC de extremo superior, pero no es necesario.
Necesitarás:
- Traducción de 64 bits de Windows 10 u 11, Windows Server 2025 o MacOS
- Espacio de disco duro de 3GB, aunque se recomienda 15 GB, especialmente si usa múltiples modelos
- 8 GB de RAM, aunque se recomienda 16GMB para obtener los mejores resultados
- Aunque no sea necesario, Microsoft recomienda tener NVIDIA GPU (2,000 series o más recientes), Qualcomm Snapdragon X Elite (8 GB o más de memoria), AMD GPU (6,000 series o más nueva) o Apple Silicon
Solo necesitará camino a Internet durante la instalación y cuando se instale un nuevo maniquí AI. A posteriori de eso, siéntase exento de desconectarse. Adicionalmente, asegúrese de tener privilegios de oficina para instalar Foundry Restringido.
Cómo instalar Foundry Restringido AI
A diferencia de muchas aplicaciones, no necesita ir a un sitio web o a Microsoft Store para instalar Foundry Restringido. En su espacio, usará un Winget, que le permite instalar software a través de un mensaje de recta de comandos. No se preocupe, no necesita ser un desarrollador o perito de la recta de comandos para hacer mínimo de esto.
Si prefiere una instalación más tradicional, descárguela de GitHub.
Para Windows, refugio una ventana de terminal. Prensa Cobrar + + nudo y hacer clic Terminal (administrador). Ingrese el posterior comando:
winget install Microsoft.FoundryLocal
Acepte los términos y espere a que se complete la instalación. Puede tomar unos minutos.
Para macOS, refugio una ventana de terminal e ingrese lo posterior:
brew tap microsoft/foundrylocal
brew install foundrylocalSi prefiere descargar un LLM en una Raspberry Pi, pruebe estos pasos.
Instalación de su primer maniquí de IA
Para su primera vez, Microsoft recomienda un maniquí de peso ágil: el Phi-3.5-Mini. No tiene que comenzar con este, pero si tiene poco espacio, es una buena guisa de probar las cosas sin matar un almacenamiento precioso.
Fiordo una ventana de terminal e ingrese el posterior comando:
foundry model run phi-3.5-miniPuede tomar varios minutos o más, dependiendo del maniquí que elija. Para mí, este maniquí en particular solo tomó dos minutos. La mejor parte es Foundry Restringido Ai instala la traducción óptima del maniquí para la configuración de su hardware, por lo que no se deja descubrir exactamente qué instalar.
Si desea probar otros modelos, consulte la serie completa utilizando el posterior comando:
foundry model listCada maniquí en la serie muestra cuánto almacenamiento necesita y su propósito. Por ahora, cada maniquí es solo para completar el chat.
Interactuar con los modelos de IA locales
No hay una interfaz gráfica praxis para interactuar con los modelos AI que instala. En cambio, harás todo desde la recta de comando. Pero, no es muy diferente a chatear con cualquier otro chatbot de IA. Simplemente ingrese su texto cuando vea el aviso Modo interactivo, ingrese su texto.
Cada maniquí de IA tiene sus propias limitaciones. Por ejemplo, ingresé un mensaje para phi-3.5-Mini preguntando «¿Qué es la fundición particular?«Hice esto específicamente para resaltar el hecho de que el conocimiento de este maniquí se limita a principios de 2023 y antiguamente. El resultado menciona esta obstáculo, pero intenta replicar la pregunta lo mejor posible. Alerta de spoiler: no respondió la pregunta correctamente, pero eso es lo que esperaba.
Para obtener los mejores resultados, siga las preguntas simples que no requieren mucha investigación o el tipo de conocimiento presente/de las telediario corrientes.
Si desea cambiar entre modelos que ya ha instalado, use el posterior mensaje:
foundry model run modelnameSimplemente reemplace «ModelName» con tu maniquí preferido.
Si está en modo interactivo, todavía conocido como modo de chat, deberá salir de la ventana del terminal y comenzar otra sesión. Actualmente, no hay un comando de salida, que definitivamente es una característica que se necesita.
Fundry Comandos de IA locales que necesita enterarse
Si adecuadamente hay una serie que puede consultar, efectivamente solo necesita conocer un puñado de comandos para usar Foundry Restringido. Estos comandos le muestran todos los comandos disponibles interiormente de cada una de las tres categorías principales: maniquí, servicio y distinción.
Vea todos los comandos locales de Foundry Militar con:
foundry --helpPara los comandos del maniquí, use:
foundry model --helpPara comandos de servicio, use:
foundry service --helpPara los comandos de distinción, use:
foundry cache --helpMientras recuerde esto, efectivamente no necesita la serie completa. Pero, tenga en cuenta que probablemente se agregarán nuevos comandos con el tiempo a medida que Microsoft se zócalo en el servicio. Por ahora, considere más una prueba beta que una útil completa.
Si necesita más de lo que Foundry Restringido puede proporcionar, quede con ChatGPT o estas alternativas. O pruebe estas herramientas de IA para mejorar su vida y productividad.
