llm local

1 post encontrado

Imagem do post

llama.cpp tutorial: compile no Linux e rode um servidor LLM local

Compile o llama.cpp no Linux com CMake, baixe modelos GGUF do Hugging Face, escolha a quantização certa e suba um...