大型语言模型(llm)正变得越来越流行，但是它需要很多的资源，尤其时GPU。在这篇文章中，我们将介绍如何使用Python中的llama.cpp库在高性能的cpu上运行llm。 大型语言模型(llm)正变得越来越流行，但是它们的运行在计算上是非常消耗资源的。有很多研究人员正在为 ...

DeepSeek-R1是由深度求索公司开发的开源推理模型，可处理需要逻辑推理、数学问题解决和实时决策的任务。该模型的突出特性之一是能够对其逻辑进行跟踪，因此用户更容易理解其输出，并可以在必要时对其输出提出质疑。 这种透明性在要求结果可解释的领域 ...

在不断发展的大型语言模型（LLMs）领域中，用于支持这些模型的工具和技术正以与模型本身一样快的速度进步。在这篇文章中，我们将总结5种搭建开源大语言模型服务的方法，每种都附带详细的操作步骤，以及各自的优缺点。 我们首先介绍门槛最低的入门级 ...

我们很高兴地宣布，可以将基于OpenCL的全新后端用于llama.cpp项目。此项工作针对骁龙SoC中的高通Adreno GPU进行了充分优化，标志着本公司持续努力提高llama.cpp的性能和多功能性的重要里程碑；作为得到广泛认可的项目，llama.cpp针对大语言模型（LLM），并一直在开源 ...

为增强设备上的智能性，在边缘设备部署大型语言模型（LLMs）成为了一个趋势，比如微软的Windows 11 AI + PC。 目前部署的大语言模型多会量化到低比特。然而，低比特LLMs在推理过程中需要进行低精度权重和高精度激活向量的混合精度矩阵乘法（mpGEMM）。现有的 ...

在CPU上高效部署低比特大语言模型 T-MAC是一种创新的基于查找表（LUT）的方法，专为在CPU上高效执行低比特大型语言模型（LLMs）推理而设计，无需权重反量化，支持混合精度矩阵乘法（mpGEMM），显著降低了推理开销并提升了计算速度。 为增强设备上的智能性 ...

What if the future of AI wasn’t in the cloud but right on your own machine? As the demand for localized AI continues to surge, two tools—Llama.cpp and Ollama—have emerged as frontrunners in this space ...

If you're just getting started with running local LLMs, it's likely that you've been eyeing or have opted for LM Studio and Ollama. These GUI-based tools are the defaults for a reason. They make ...

功能更强大的 Code Llama 70B 模型来了。 今天，Meta 正式发布 Code Llama 70B，这是 Code Llama 系列有史以来最大、性能最好的型号。 我们正在开源一个全新的改进版 Code Llama，包括一个更大的 70B 参数模型。编写和编辑代码已成为当今人工智能模型最重要的用途之一。

谷歌程序员Justine Tunney将Llama推理速度提升500%。 【导读】近日，天才程序员Justine Tunney发推表示自己更新了Llamafile的代码，通过手搓84个新的矩阵乘法内核，将Llama的推理速度提高了500%！ 谷歌的美女程序员，将Llama的推理速度提高了500%！ 近日，天才程序员Justine ...