Gemma 4 12B Uncensored GGUF 本地部署教程：支持图片识别，普通电脑也能运行

最近体验了一款比较有意思的本地大模型：

Gemma 4 12B IT Uncensored GGUF。

它基于 Google 最新发布的 Gemma 4 12B 模型进行修改，移除了部分限制，相比原版拥有更开放的回答风格。

最重要的是：

• 支持本地部署

• 支持 GGUF 格式

• 支持 Ollama

• 支持 LM Studio

• 支持 llama.cpp

• 支持图片识别（多模态）

对于拥有 8GB-12GB 显存的用户来说，是一个值得尝试的模型。

模型介绍

模型名称：

Gemma 4 12B IT Uncensored GGUF

特点：

• 12B 参数规模

• 支持中文

• 支持代码生成

• 支持图片理解

• 支持本地离线运行

• 无需联网即可使用

相比部分限制较多的模型，该版本在角色扮演、代码生成以及部分敏感问题讨论方面更加开放。

推荐运行配置

• 16GB 内存

• GPU 推理

推荐配置：

• RTX 3060 12GB

• RTX 4060 Ti 16GB

• RTX 4070

显存越大，体验越好。

下载地址

模型项目：

https://huggingface.co/zaakirio/gemma-4-12b-it-uncensored-GGUF

Ollama 部署

安装完成 Ollama 后执行：

ollama run hf.co/zaakirio/gemma-4-12b-it-uncensored-GGUF:Q4_K_M

首次运行会自动下载模型(会同时自动下载mmproj-gemma-4-12B-it-bf16.gguf)

等待下载完成即可开始使用。

LM Studio 部署

打开 LM Studio。

搜索：

Gemma 4 12B Uncensored

下载对应 GGUF 文件。

下载完成后加载模型即可开始聊天。

对于新手来说，这是最简单的方式。

llama.cpp 部署

如果你使用 llama.cpp：

# Interactive chat 下载模型
llama-cli -hf zaakirio/gemma-4-12b-it-uncensored-GGUF:Q4_K_M --jinja

# OpenAI-compatible server with web UI 启动web UI
llama-server -hf zaakirio/gemma-4-12b-it-uncensored-GGUF:Q4_K_M --jinja -c 4096


模型调用：
插件：
Page Assist – 本地 AI 模型的 Web UI

Cherry Studio

git

关于图片识别功能
很多朋友会发现：
即使只下载了主模型，也能直接识别图片。
这是因为 Gemma 4 的视觉部分由单独的 mmproj 文件负责。
当通过 Hugging Face 或部分工具加载时，会自动下载视觉组件。
因此无需手动操作即可获得图片理解能力。
如果使用本地文件启动，则需要手动指定：
--mmproj mmproj-gemma-4-12B-it-bf16.gguf

否则模型只能进行文本对话。

实际测试
测试项目：


中文问答


代码生成


图片识别


截图分析


OCR文字提取


网络安全相关问题


整体表现比较不错。
图片理解能力也超出了我的预期。

适合哪些用户
推荐：


本地AI爱好者


网络安全从业者


程序员


内容创作者


希望离线使用AI的用户


如果你的显卡显存在 8GB-12GB 左右，可以优先体验这款模型。

安全风险

权限滥用：可能被利用执行系统命令或访问本地文件。


数据泄露：输入的敏感信息可能被模型记录或意外输出。


后门风险：越狱方法可能引入恶意代码或隐蔽通信。


滥用生成内容：生成有害、违法或误导信息的可能性增加。


不可控行为：模型可能绕过原本的安全限制，导致不可预测输出。

更多AI工具、免费资源和实用教程会持续更新。