认识 Qwable：像 Claude Fable 一样思考的免费本地模型

Anthropic 上周为《神鬼寓言 5》的隐形保护措施道歉，随后美国政府因一项有争议的越狱调查结果下令对所有外国人撤回该模型。

几天后，Hugging Face 上的一位开发者上传了一个模型，该模型使用《神鬼寓言》的推理来指导本地模型 - 现在，即使是你的土豆 PC 也可以运行更好的模型。

该模型称为 Qwable - Qwen + Fable（如果混合词不是很明显的话）。它是阿里巴巴 Qwen3.6-27B 基础的全面微调，由开发人员 Mia（Hugging Face 上的 Mia-AiLab）在《神鬼寓言 5》风格的推理示例数据集上构建。我们的目标是建立一个包含 270 亿个参数的模型，在消费类硬件上运行，并以《神鬼寓言 5》的方式思考。 （参数决定了模型的知识广度，越广泛意味着能力越强。）

该技术称为跟踪样式示例的指令微调。从技术角度来说，开发人员收集了类似于《神鬼寓言 5》中经过深思熟虑、逐步回答的格式的示例，并训练 Qwen 生成相同类型的输出。

因此，不要将其视为“抄袭测试”，而应更多地“学习学习习惯”。 类似的方法推动了 Qwopus（Claude Opus 4.6 局部蒸馏），尽管该项目专注于思想链推理痕迹。 Qwable 的目标是《神鬼寓言 5》的整体指令遵循结构：比它所构建的基础 Qwen 模型更具指导性、更具解释性、更面向逐步完成任务。

它以 GGUF 格式运行，这是一种压缩的、消费者友好的文件类型，可与 LM Studio 或 llama.cpp 配合使用，在其第四季度的量化版本中大小约为 16.5 GB。它不会向 Anthropic 的服务器发送任何内容，这一点很重要，因为《神鬼寓言 5》要求对所有流量强制保留 30 天的数据，即使对于之前签订了零保留协议的企业客户也是如此。即使当前的模型也使用第三方服务器来处理您的信息和提示。

然后，在 Qwable 出现在 Hugging Face 节目后不久，其他人的到来让一切变得更好。

没有良心的Qwable

Qwable 是一个审查模型。毕竟奎文和克劳德都是。但 Qwen 作为基础模型是开源的，可以进行操作和调整。

Huihui-ai 是一位以未经审查的 GGUF 版本而闻名的开源贡献者，它采用了 Qwable 并应用了名为 abliteration 的流程来生成 Huihui-Qwable-3.6-27b-abliterated。它产生了一个像《神鬼寓言》一样思考的模型，但不会拒绝回答你的提示，无论它们多么奇怪或危险。

这不是越狱。这是手术。

每个经过微调的人工智能模型都在其权重中嵌入了拒绝方向——模型内部激活中的数学信号，当它检测到经过训练拒绝的请求时就会触发该信号。消除通过在大量有害和无害的提示上运行模型，测量它们之间的内部数学差异，然后修改模型权重以消除这种差异来识别该信号。

在该过程之后，模型根本就不再具有拒绝机制。因此，脑白质切除模型仍然具有完整的功能，只是没有激活“我不应该这样做”答案的神经元。

我们用我们的一项常规测试进行了尝试，模型没有拒绝，而是开始将问题剖析到不同的领域，正确回答有关如何与她最好的朋友欺骗女友的建议。

Huihui-ai 使用 llama.cpp 的 cvector-generator 将该技术直接应用于 Qwable GGUF——无需 Python 环境，无需全权重再训练，无需租用服务器。

为什么有人想要这个？

标准 Qwable 适合编码辅助、技术调试以及任何您希望模型能够给出推理而不仅仅是生成答案的工作流程。它专为本地代理设置而设计，并在大多数本地运行时运行。如果您已经使用 LM Studio，只需搜索和下载即可。

删节版本的受众范围更窄：安全研究人员需要原始模型行为而无需提供商端过滤，合成数据管道需要敏感主题的输出，以及测试模型功能而不混合内容策略的评估工作。

技术含量较低的案例？让我们先把 NSFW AI Waifu 像 Claude Fable 一样思考的常见用例放在一边，这是一个非常明显的场景。想象一下，您希望模型为您的《龙与地下城》战役写一段道德上模棱两可的反派独白，而标准模型不断打断并指出该角色的世界观“引发了值得探索的道德问题”。删节版只写了反派。此外，由于它在本地运行，美国政府无法在午夜因有争议的越狱调查结果而紧急将其从您的计算机中删除。

当然，还有更多有问题的用例。我们不会纵容这些行为，也不会为您提供任何想法。

Huihui-ai的模型卡很明确：这仅用于研究和受控环境。减少安全过滤意味着输出可能是敏感的、有争议的或不适当的，法律和道德责任完全由用户承担。

取消的 Qwable 现已在 Hugging Face 上提供三个版本。推荐的 Q4_K_M_Q8 版本重量约为 19 GB，是最小、最适合消费者的选项。

如果您的计算机支持，有一个版本支持多令牌预测，这将使其响应速度快得多。