<div align="center"> <img src="public/logo-2026.png" alt="ModelMix Logo" width="320" /> </div>

ModelMix 模方 — 多模型 AI 对比工具

一站式对比 17 个大语言模型（LLM）的输出质量、成本和速度。支持 Web 界面、命令行、Claude Code 技能和 MCP 插件四种使用方式。

功能

功能	说明
Web 应用	Next.js 16 界面，输入任务→智能推荐模型→实时流式对比→AI 评判
CLI 工具	命令行对比，支持 JSON 输出，适合 AI Agent 调用
MCP 插件	原生 Claude Code 工具，AI 可直接决策调用
/modelmix 技能	Claude Code 斜杠命令，人工触发对比
AI 评判	自动评分：准确性、完整性、清晰度、相关性 + 综合评分（1-10）
省 Token 技巧	26 条提示词优化技巧，智能推荐 + 节省统计
排行榜	花 token 王 / 省 token 王排名，每日/每周/每月统计
17 个模型	覆盖 OpenAI、Anthropic、DeepSeek、Google、Kimi、智谱、MiniMax、Qwen

快速开始

# 1. 克隆项目
git clone https://github.com/chx17864762631/modelmix.git
cd modelmix

# 2. 安装依赖
npm install

# 3. 配置加密密钥
cp .env.example .env.local
# 编辑 .env.local，填入你的 MASTER_ENCRYPTION_KEY
# 生成密钥: node -e "console.log(require('crypto').randomBytes(32).toString('hex'))"

# 4. 启动开发服务器
npm run dev
# 打开 http://localhost:3000

# 5. 在 Web 界面添加 API Key（设置 → API Keys）

使用指南

第一步：输入任务，获取模型推荐

在首页输入任务描述，点击"分析任务"，应用自动识别任务类型（翻译/编程/写作/分析），并根据任务特征推荐最适合的模型组合。同时展示省 Token 技巧，点击即可应用到提示词中。

第二步：查看并应用省 Token 技巧

应用提供 26 条提示词优化技巧，按任务类型智能推荐。每条技巧包含标题、说明和预估节省比例，点击"应用此技巧"即可将优化注入到用户提示词中，有效降低 Token 消耗。

第三步：查看对比结果与 AI 评判

点击"开始对比"后，多个模型同时处理同一任务，实时流式输出。完成后 AI 自动评判各模型输出的准确性、完整性、清晰度、相关性，给出综合评分并推荐最佳模型。页面下方展示总计 Token 消耗、提示词技巧节省的 Token，以及选择推荐模型可节省的费用。

第四步：查看排行榜

排行榜统计用户今日/本周/本月的 Token 消耗，以及模型选择节省、技巧节省的费用。设置"花 Token 王"（消耗最多）和"省 Token 王"（节省最多）两个排名，直观展示使用效率。

第五步：保存优质模板

效果好、节省 Token 的提示词可一键保存为模板，方便后续复用。避免重复调试提示词，提升工作效率。

前置设置：配置 API Key

在设置页面添加各模型提供商的 API Key，选择需要使用的模型。支持 OpenAI、Anthropic、DeepSeek、Google、Kimi、智谱、MiniMax、Qwen 八个提供商。API Key 使用 AES-256-GCM 加密存储，保障安全。

---

CLI 命令行

# 列出所有可用模型
npx tsx cli.ts models --json

# 对比模型（JSON 输出，适合 Agent）
npx tsx cli.ts compare \
  --task "将以下合同条款翻译成英文：甲方应于每月5日前支付上月服务费用..." \
  --models "deepseek-chat,glm-4" \
  --judge --json

# 人工阅读（Markdown 输出）
npx tsx cli.ts compare -t "Write a Python function to merge two sorted lists" -m "gpt-4o,claude-sonnet-4-20250514" -j

# 评判已有对比
npx tsx cli.ts judge <comparison-id> --json

参数	简写	说明
--task	-t	任务描述（必填）
--models	-m	模型 ID，逗号分隔（必填，至少 2 个）
--system-prompt	-s	系统提示词（可选）
--judge	-j	自动运行 AI 评判
--json		JSON 格式输出（Agent 调用时使用）

MCP 插件（Claude Code 原生工具）

项目根目录的 .mcp.json 已配置好，Claude Code 进入项目目录后自动加载。

提供三个 MCP 工具：

工具	说明
modelmix_models	列出所有已配置的模型及价格
modelmix_compare	多模型对比（含 AI 评判）
modelmix_judge	对已有对比运行评判

Claude Code 会在需要时自动调用这些工具，无需手动触发。完整流程：发现 .mcp.json → initialize → tools/list → 根据需要调用 modelmix_models / modelmix_compare / modelmix_judge → 获取结构化 JSON 结果。

/modelmix 技能（Claude Code 斜杠命令）

在 Claude Code 输入框输入 /modelmix 触发。技能会引导选择模型、运行对比，并按规范格式化呈现结果（推荐模型、评分表格、完整输出）。

安装方式：

cp -r skills/modelmix ~/.claude/skills/modelmix

支持的模型

模型	提供商	输入价格 ($/1M token)	输出价格 ($/1M token)	适用场景
GPT-4o	OpenAI	2.50	10.00	综合、多模态
GPT-4o Mini	OpenAI	0.15	0.60	高性价比、快速
Claude Sonnet 4	Anthropic	3.00	15.00	代码、分析、长文本
Claude 3 Haiku	Anthropic	0.25	1.25	最快速度、低成本
DeepSeek V3	DeepSeek	0.27	1.10	中文、高性价比
DeepSeek R1	DeepSeek	0.55	2.19	推理、思考过程
Gemini 2.0 Flash	Google	0.10	0.40	快速、多模态
Moonshot v1 8K	Kimi	0.003	0.003	中文细腻、长文本
Moonshot v1 32K	Kimi	0.008	0.008	长上下文
Moonshot v1 128K	Kimi	0.03	0.03	超长上下文
GLM-4 Flash	智谱	免费	免费	免费、快速
GLM-4	智谱	0.10	0.10	中文综合
GLM-4 Plus	智谱	0.80	0.80	高性能推理
abab6.5s	MiniMax	0.001	0.001	超低价格、中文
Qwen Turbo	Qwen	0.0004	0.0012	速度最快、成本极低
Qwen Plus	Qwen	0.001	0.003	效果/速度/成本均衡
Qwen Max	Qwen	0.005	0.015	综合能力最强

项目结构

modelmix/
├── app/                    # Next.js App Router
│   ├── page.tsx            # 首页：任务输入 + 推荐 + 对比
│   ├── leaderboard/        # 排行榜页面
│   ├── keys/               # API Key 管理页面
│   ├── templates/          # 模板管理页面
│   └── api/                # API 路由
│       ├── compare/        # 模型对比（SSE 流式）
│       ├── comparisons/    # 对比历史 CRUD
│       ├── judge/          # AI 评判
│       ├── recommend/      # 模型智能推荐
│       ├── tips/           # 省 Token 技巧
│       ├── savings/        # 节省计算
│       ├── leaderboard/    # 排行榜数据
│       └── user/           # 用户统计
├── components/             # React 组件
│   ├── home/               # 首页组件（输入面板、技巧面板）
│   ├── compare/            # 对比视图组件
│   ├── leaderboard/        # 排行榜组件
│   ├── keys/               # API Key 管理组件
│   └── layout/             # 布局组件（Header）
├── lib/                    # 核心库
│   ├── models.ts           # 模型定义
│   ├── provider-config.ts  # 提供商配置 + 智能推荐逻辑
│   ├── providers.ts        # 流式调用适配器
│   ├── db.ts               # SQLite 数据库（sql.js）
│   ├── judge.ts            # AI 评判引擎
│   ├── tips.ts             # 26 条优化技巧
│   ├── savings.ts          # 节省计算
│   ├── crypto.ts           # AES-256-GCM 加密
│   └── types.ts            # TypeScript 类型定义
├── hooks/                  # React Hooks
├── cli.ts                  # 命令行工具
├── mcp-server.ts           # MCP stdio 服务器
├── .mcp.json               # Claude Code MCP 配置
├── skills/modelmix/        # Claude Code 技能文件
├── public/screenshots/     # 界面截图
└── data/                   # SQLite 数据库文件（运行时生成）

技术栈

技术	用途
Next.js 16 (App Router)	Web 框架
TypeScript 5	类型安全
Tailwind CSS v4	样式
sql.js (WASM SQLite)	数据库
AES-256-GCM	API Key 加密
SSE (Server-Sent Events)	流式输出
JSON-RPC 2.0	MCP 协议
OpenAI SDK	API 适配层

安全

• API Key 使用 AES-256-GCM 加密存储在 SQLite 中
• 加密密钥通过 .env.local 注入，不进入版本控制
• 所有 API Key 仅在内存中解密，用完即弃

License

MIT