llama-cpp-vulkan ‐ Nix Packages ‐ Searchix

llama-cpp-vulkan

Inference of Meta's LLaMA model (and others) in pure C/C++

Name

llama-cpp

Main Program

llama

Programs

convert_hf_to_gguf.py
llama
llama-batched-bench
llama-bench
llama-cli
llama-completion
llama-cvector-generator
llama-export-lora
llama-fit-params
llama-gguf-split
llama-imatrix
llama-mtmd-cli
llama-perplexity
llama-quantize
llama-server
llama-tokenize
llama-tts

Homepage

https://github.com/ggml-org/llama.cpp

Version

7898

License

MIT License

Maintainers

Platforms

Defined