欢迎来到 金小颖论坛!
所有类别
-
草稿模型接受率如何影响LLM推测解码的吞吐量与输出一致性 推测解码的核心思路，是让参数更少、运行更快的草稿模型先连续提出若干候选 Token，再由目标大模型一次性并行验证。候选被接受得越多，目标模型需要执行的串行解码轮次通常越少，因此草稿模型 -
教师置信度过滤如何影响LLM知识蒸馏的学习效率与能力保留 知识蒸馏的目标，是把大型教师模型的知识、推理方式与任务能力迁移给更轻量的学生模型。但教师生成的答案并不天然可靠：错误事实、含混推理和格式偏差同样可能进入训练集。教师置信度过滤由此成为一
-
提示长度如何影响LLM软提示调优的参数效率与跨任务迁移能力 在大语言模型的参数高效微调方法中，软提示调优的核心做法是冻结模型主体，只学习一组连续向量，并将其作为“虚拟词元”加入输入。提示长度决定了可训练向量的数量，也影响信息容量、优化难度和推理
-
LLM检查点平均如何影响损失盆地平滑性与下游任务鲁棒性 在大语言模型训练与微调中，“最后一个检查点”并不必然是最可靠的模型。随机梯度、样本顺序和学习率变化会让参数在低损失区域内不断移动，单个检查点可能恰好落在边缘或较尖锐的位置。检查点平均通
-
优化器参数分组如何影响LLM预训练中的层级学习与收敛质量 在大语言模型预训练中，优化器常被简化为“选 AdamW，再调整学习率”。但模型内部并不是均匀的参数集合：词嵌入、注意力投影、前馈网络、归一化层和输出头承担不同功能，其参数尺度、梯度统计
-
LLM神经网络缩放定律如何指导参数数据与训练算力分配 训练大语言模型时，最容易出现的误区是把“规模”简单等同于参数量。实际上，在预算有限的情况下，模型参数、训练数据和计算量彼此制约：参数太多而数据不足，模型学不充分；数据很多而模型太小，容
-
权重衰减系数如何影响大模型参数范数演化与预训练泛化性能 在大模型预训练中，权重衰减系数常被当作一个普通的正则化超参数，但它实际控制的不只是“参数是否过大”。它会持续改变参数范数、方向更新速度和优化器的时间尺度，进而影响训练稳定性、收敛效率以
-
LLM预训练语料配比如何影响跨领域知识迁移与专业任务表现 大语言模型的预训练并不是简单地把网页、书籍、论文和代码全部堆在一起。即使模型规模、训练步数与总词元预算完全相同，不同领域语料所占比例也可能让模型形成截然不同的能力结构。通用语料决定知识
-
标签平滑强度如何影响大模型预训练校准与下游任务泛化 在大模型预训练中，标签平滑看似只是对交叉熵目标的一处小改动，却会同时影响概率分布、置信度表达和特征学习。平滑强度过低，模型可能继续形成尖锐且过度自信的预测；强度过高，又可能削弱有效监督
-
LLM梯度噪声尺度如何影响最优批量大小与预训练算力利用率 在大语言模型预训练中，批量大小并不是“显存允许多大就设多大”。它同时决定梯度估计的稳定性、参数更新次数、数据并行规模以及硬件吞吐率。理解梯度噪声尺度，可以把批量大小从经验超参数转化为可
-
FlashAttention内核如何提升注意力计算IO效率与训练吞吐量 在 Transformer 训练中，注意力层常被概括为矩阵乘法问题，但真正限制性能的往往不只是浮点运算量，还有 GPU 不同层级存储器之间的数据搬运。FlashAttention 的核
-
课程学习顺序如何影响大模型知识习得效率与训练收敛质量 在大模型训练中，数据并不是“喂得越多越好”，呈现顺序同样会影响知识习得效率。所谓课程学习，是指按照一定规则组织训练样本，使模型先接触相对基础、清晰或容易掌握的内容，再逐步进入复杂、模糊
-
LLM自适应计算深度如何兼顾复杂样本推理准确率与计算成本 大语言模型的推理能力往往与计算投入密切相关：简单问题可能一次生成即可解决，复杂的数学、规划或代码任务则可能需要更长的思考过程、多候选搜索与结果验证。如果对所有请求采用相同计算预算，要么
-
可学习Token合并策略如何影响推理计算量与细粒度语义保真度 在 Transformer 推理中，Token 数量直接影响注意力计算、显存占用和端到端延迟。Token 合并的核心思路，是把语义相近或信息重复的 Token 聚合为更少的表示，再让后
-
LLM选择性状态空间层与注意力混合架构如何兼顾长序列吞吐量与语义建模 导语：长上下文正在成为大语言模型的重要能力，但序列越长，传统注意力机制面临的计算量、显存占用和推理延迟就越突出。选择性状态空间模型以近似线性的序列处理方式提升吞吐量，注意力机制则擅长建
-
LLM梯度累积步数如何影响有效批量规模与收敛速度 在大语言模型训练中，显存往往无法容纳理想规模的批次。梯度累积通过连续处理多个微批次、暂存其梯度，并在达到指定次数后统一更新参数，让有限显存也能模拟更大的批量训练。不过，梯度累积步数并非
-
测试豆瓣 花开锦绣 (2026)7.1分又名：The Road to Splendor / Escape to Your Heart导演：邓科主演：丁禹兮 / 邓恩熙 / 尤靖茹 / 白澍 /
-
LLM低秩适配中秩值选择如何影响微调效率与任务泛化能力 在大语言模型微调中，LoRA（低秩适配）通过冻结预训练权重，并为部分线性层增加两个可训练的低秩矩阵，将权重更新表示为低秩分解。这里的秩值 r 决定了适配器可表达的更新空间，也是训练成本
金小颖论坛
欢迎来到我们的社区。
这里倡导自由表达、平等交流、友好互动、开放分享和有趣探索。无论你是想认真讨论、轻松聊天、分享经验，还是发现好玩的人和内容，都可以在这里找到属于自己的位置。
请尊重他人，理性发言，友善交流，一起建设一个更自由、更开放、更有趣的社区。
帖子数
1468
1468
评论数
1451
1451
用户数
51
51
在线
1
1
微信号
微信号
微信快人一步获取最新文章
扫一扫
不错过精彩文章
热门活动
热门标签
友情链接
XIUNOX基于 Xiuno BBS 4.0.4 原版打造的现代化重构版本 XIUNOX， 全面适配 PHP 8 + MySQL 8，采用 Bootstrap 5.3 与 HTMX 构建现代无刷新 UI， 安全与可扩展性大幅提升，原生支持多语言、RESTful API，让轻量论坛重获新生。
xiunox交流论坛—
Linux 人社区综合性技术论坛
不知名作家论坛不知名作家论坛，由众多爱好者共建的公益性交流论坛，可以发表自己的随笔，散文，短篇小说，随写。
侠客岛侠客岛是一个融合江湖豪情与技术热情的技术社区。一入江湖岁月催，代码人生共举杯。在这里，既能论剑编程之道，也可把酒江湖夜话。
酒入论坛分享资源，分享快乐
破走论坛分享资源，分享快乐
申请友情链接
值得一看
首页动态展示横幅 wajxy_home_banner_v1.1.8【插件】
立即查看
QIK7电脑硬件信息修改工具（免费绿色版）
立即查看
靓号登录 wajxy_premium_number_v1.0.9【插件】
立即查看