reasonix-multimodal-mcp
Extends Reasonix with multimodal processing capabilities including image OCR/vision, PDF text extraction, local audio transcription, video analysis, and Office document extraction.
README
reasonix-multimodal-mcp
Reasonix 多模态 MCP 服务器：让 Reasonix 具备处理图片 / PDF / 音频 / 视频 / Office 文档的能力。
- 图片：本地 OCR（rapidocr）+ 硅基流动视觉模型（Qwen3-VL）语义理解
- PDF：文本提取（pymupdf），扫描件自动 OCR 兜底
- 音频：faster-whisper 本地转写（无需联网）
- 视频：ffmpeg 抽帧 → 视觉模型 + 音轨 whisper 转写
- Office：docx / xlsx / pptx 结构化提取
- 剪贴板图片：截图后直接分析，无需保存文件（WSL 下自动读取 Windows 剪贴板）
工具列表
| 工具 | 说明 |
|---|---|
describe_image |
理解一张图片（OCR + 视觉描述） |
describe_clipboard_image |
分析剪贴板里的图片（截图后直接用） |
extract_pdf |
提取 PDF 文本（含扫描件 OCR） |
transcribe_audio |
转写音频（faster-whisper 本地） |
analyze_video |
视频抽帧 + 音轨转写 |
extract_office |
提取 docx / xlsx / pptx |
extract_text |
万能入口，按扩展名自动分派 |
mcp_list_capabilities |
查看配置状态 |
安装
前置要求：Python 3.10+、已安装 Reasonix、ffmpeg（音频/视频功能，sudo apt install ffmpeg）。
git clone https://github.com/GeeniTiming/reasonix-multimodal-mcp.git
cd reasonix-multimodal-mcp
SILICONFLOW_API_KEY=sk-你的key bash install.sh
脚本会自动：复制文件到 ~/.reasonix/mcp-multimodal/、创建虚拟环境、安装依赖、
注册 [[plugins]] 到 ~/.reasonix/config.toml、写入 API key、验证安装。
然后在 Reasonix 里开新会话，即可使用 mcp__multimodal__* 工具。
配置
API key 放在 ~/.reasonix/.env：
SILICONFLOW_API_KEY=sk-xxx
可选环境变量（写在 server.py 顶部注释）：
SILICONFLOW_VL_MODEL：视觉模型，默认Qwen/Qwen3-VL-32B-InstructWHISPER_MODEL：whisper 模型，默认本地~/.reasonix/whisper-models/small（首次使用自动从 hf-mirror 下载）
使用示例
在 Reasonix 聊天框里直接写文件路径（不要用 @ 引用图片，那会把二进制字节塞进上下文）：
分析这张图：images/screenshot.png
C:\Users\xxx\Desktop\报错截图.png 里有什么错误？
这个视频讲了什么：/home/xxx/videos/demo.mp4
提取这个 PDF 的内容：论文.pdf
路径支持：工作区相对路径、WSL 路径（/home/...）、Windows 路径（C:\... 自动转 /mnt/c/...）。
剪贴板图片：截图（Win+Shift+S）后直接说"分析剪贴板里的图片"即可，无需保存文件。
平台说明
| 平台 | 剪贴板图片 | 说明 |
|---|---|---|
| WSL | ✅ | 自动通过 powershell.exe 读取 Windows 剪贴板 |
| 原生 Linux | ✅（需装 wl-clipboard 或 xclip/xsel） | 自动回退到 wl-paste / xclip / xsel |
| macOS | ❌ | 暂不支持剪贴板图片 |
故障排查
- 视觉 API 偶发
HTTP 500 code 50507：硅基流动服务端偶发错误，重试一次即可 @images/xxx.png显示乱码：@引用会注入文件原始字节，图片请直接写路径- Reasonix 扩展
+菜单附加图片无效：Reasonix ACP 后端声明image: false（不支持 image block），这是后端设计限制，用路径/剪贴板方式替代
Recommended Servers
playwright-mcp
A Model Context Protocol server that enables LLMs to interact with web pages through structured accessibility snapshots without requiring vision models or screenshots.
Magic Component Platform (MCP)
An AI-powered tool that generates modern UI components from natural language descriptions, integrating with popular IDEs to streamline UI development workflow.
Audiense Insights MCP Server
Enables interaction with Audiense Insights accounts via the Model Context Protocol, facilitating the extraction and analysis of marketing insights and audience data including demographics, behavior, and influencer engagement.
VeyraX MCP
Single MCP tool to connect all your favorite tools: Gmail, Calendar and 40 more.
graphlit-mcp-server
The Model Context Protocol (MCP) Server enables integration between MCP clients and the Graphlit service. Ingest anything from Slack to Gmail to podcast feeds, in addition to web crawling, into a Graphlit project - and then retrieve relevant contents from the MCP client.
Kagi MCP Server
An MCP server that integrates Kagi search capabilities with Claude AI, enabling Claude to perform real-time web searches when answering questions that require up-to-date information.
E2B
Using MCP to run code via e2b.
Neon Database
MCP server for interacting with Neon Management API and databases
Exa Search
A Model Context Protocol (MCP) server lets AI assistants like Claude use the Exa AI Search API for web searches. This setup allows AI models to get real-time web information in a safe and controlled way.
Qdrant Server
This repository is an example of how to create a MCP server for Qdrant, a vector search engine.