阿尔的代码屋 | 全栈技术笔记

使用微调框架 Unsloth 在 Kaggle 免费 T4 显卡上对 Qwen 模型执行指令微调实战。结合 QLoRA 4-bit 量化与算子级优化压降显存，讲解 LoRA Rank 与 Alpha 超参数调优、训练损失曲线监控，以及微调后 LoRA 权重与基模合并导出的完整流程。

深入探讨检索增强生成（RAG）与监督指令微调（SFT）的技术边界与选型逻辑。通过对比 Base 基础底座模型与 Instruct 对齐模型在具体提示词下的输出差异，系统阐述如何通过数据清洗、指令标注与微调对齐，让大模型学会特定角色身份、专业输出结构与严格业务规则。

大模型应用开发必修课！本文通过通俗易懂的案例详解 RAG (检索增强生成) 的核心原理，对比 LlamaIndex 与 LangChain 的优劣，并手把手带咱们在 Kaggle 环境下，利用 ChromaDB 和 Qwen 模型搭建一个支持私有数据问答的企业级 RAG 系统。

深入剖析现代大语言模型基石 Transformer 架构的核心运行机制。从图像化角度生动拆解自注意力机制（Self-Attention）、前馈神经网络与旋转位置编码计算链路，并在 Kaggle 云端平台通过 HuggingFace Transformers 核心库单步调试代码，完成预训练模型加载与前向推理实战验证。

详细介绍使用 Kaggle 平台每周 30 小时免费双 T4 GPU 算力搭建大模型实验环境的完整流程。涵盖国内手机号安全验证绑定、开启 Notebook 联网权限、多卡并行加速配置，以及利用 Kaggle Datasets 机制持久化存储 HuggingFace 预训练权重与数据集的避坑指南。