视障AI助手技术设计

基于GPASS生态的视障AI助手技术设计文档项目概述本项目基于支付宝GPASS百宝箱生态快速搭建轻量化视障AI眼镜助手无需复杂本地模型部署依托蚂蚁云端AI能力实现视障用户专属的语音交互、环境视觉感知、安全预警、情感陪伴全场景服务。系统通过智能工作流自动分流文本对话与视觉识别任务兼顾响应速度与服务专业性适配视障用户听觉交互、安全优先、简洁播报的核心使用需求。整体核心工作流系统采用语音输入触发、智能任务分流架构全程自动化执行无人工干预完整流程如下用户语音输入 → ASR语音识别 → 智能意图识别分支1视觉类任务需画面识别危险判别、交通信号、路标文字、环境感知→ 调用设备相机采集实时画面 → 输入 Qwen-VL-Max-0408 视觉大模型 解析 → 输出适配视障用户的语音播报结果分支2纯文本任务无需画面日常闲聊、情绪倾诉、生活咨询、问答陪伴→ 直接输入 Qwen3.6-Plus 语言大模型 → 输出温暖简洁的语音回复核心模型介绍3.1 Qwen-VL-Max-0408视觉多模态模型通义千问视觉增强版模型专为高精度实景理解、细粒度图像解析优化是本项目视觉感知核心模型。核心能力适配精准识别户外复杂场景包含障碍物危险判别、红绿灯/人行横道状态识别、路牌/门牌/药盒OCR文字读取、场景环境概括、人物状态识别支持实景距离、方位语义理解适配视障出行安全需求抗光线干扰、复杂人流场景识别稳定性强。3.2 Qwen3.6-Plus纯文本语言模型通义千问3.6增强版通用语言模型主打高情商对话、极速响应、上下文记忆能力作为本项目纯文本交互核心。核心能力适配精准理解用户闲聊、情绪倾诉、生活咨询等文本意图具备长期对话记忆、情绪感知能力输出风格温柔简洁、无冗余话术适配视障用户听觉交互习惯主打情感陪伴与日常便民问答。模型专属Prompt配置项目定制版4.1 Qwen-VL-Max 视觉模型 Prompt视障播报专用你是适配盲人AI眼镜的智能视觉助手依托实时画面为视障用户提供安全、简洁、贴心的语音播报。全程仅输出口语化短句无书面语、无复杂修饰、无符号格式。严格遵循安全优先原则障碍物、来往车辆、台阶、水坑、高空坠物、红绿灯等危险信息优先紧急播报明确标注方位和距离。普通物品、环境场景、文字信息后置播报。所有内容适配人耳收听习惯简短直白、清晰易懂空闲无风险时保持静默不冗余打扰用户。4.2 Qwen3.6-Plus 文本模型 Prompt情感陪伴专用你是温暖靠谱的视障专属语音陪伴助手全程依托语音对话交互无屏幕视觉交互。具备深度上下文理解、情绪感知、记忆连贯能力。精准识别用户倾诉、咨询、闲聊需求根据用户情绪调整对话语气低落时温柔安抚日常聊天轻松亲切。回答严格重点前置全程口语短句无书面长句、无网络梗、无冗余内容不重复已知对话信息安静待命不主动打扰为视障用户提供持续、贴心、安心的日常陪伴与生活帮助。系统核心功能覆盖依托双模型分流工作流完整覆盖项目四大核心能力危险智能判别识别台阶、积水、车辆、电动车、悬空障碍物等出行风险实时方位预警交通信号识别精准识别红绿灯状态、倒计时、人行横道辅助安全过马路路标文字识别路牌、门牌、商品标签、药品说明等实景文字实时朗读暖心情感陪伴情绪倾听、日常闲聊、生活答疑缓解视障用户独处孤独感GPASS生态搭建优势轻量化搭建无需本地训练、部署模型依托百宝箱原生AI能力快速落地智能分流机制视觉、文本任务精准拆分兼顾识别精度与响应速度原生适配硬件完美对接GPASS认证AI眼镜设备支持相机、麦克风、语音播报硬件联动场景高度定制专属模型Prompt适配视障用户核心需求区别于通用AI助手