边缘计算场景下大模型蒸馏至轻量级MLP的技术研究与实验复现

边缘计算场景下大模型蒸馏至轻量级MLP的技术研究与实验复现摘要随着大语言模型（LLM）参数规模指数级增长，其在资源受限的边缘设备上的部署面临着严峻的算力、内存与功耗挑战。本文系统研究了一种基于知识蒸馏的大模型轻量化方案，即将大规模的Transformer教师模型蒸馏为轻量级的多层感知机（MLP）学生模型，并将蒸馏后的模型重新嵌入边缘推理管线。本研究设计了完整的师生蒸馏框架，包含软标签蒸馏、中间特征蒸馏与注意力分布蒸馏等多粒度知识迁移策略，并提供了详细的PyTorch代码实现。实验结果表明，蒸馏后的MLP模型参数量可压缩至教师模型的5%-10%，推理速度提升5-8倍，在保持85%以上性能的前提下实现了边缘设备的有效部署。本文还系统呈现了训练损失曲线、精度对比、推理延迟对比及模型大小对比等实验图像，为边缘AI场景下的模型压缩提供了可复现的技术路径。关键词：边缘计算；大语言模型；知识蒸馏；多层感知机；模型压缩一、引言1.1 研究背景近年来，以GPT、LLaMA、PaLM为代表的大语言模型在自然语言处理、代码生成、多模态理解等任务中展现出前所未有的能力。然而，这些模型的参数量动辄数十亿乃至数千亿，单次推理需要数百GB的显存占用，单次文本生成能耗可高达0.5kWh。这种巨大的资源需求使得LLM在边缘计算场景中的部署面临三重瓶颈：存储瓶颈：模型权重文件过大，边缘设备存储空间有限；内存瓶颈/