上周帮朋友调一个7B科技www.abg989.net的文天职类模子，精确率卡正在62%上不去。他筹办换更年夜底座，我拦住了。先看数据是锻炼集里三分之一是重复样本。标签还有互相打斗的模微。把净数据清掉，再用ai 科技模子微调里的分层采样计谋，只动了进建率和冻结层，精确率间接跳到79%。

微调不是堆算力，是调实到过先建数据。良多人一上来就调全数参数，隐存爆了，效果反而更差。

我自己的习惯，小样本任务只微调，最后两层加分类头。进建率设成预锻炼数据的十分之一，好比2e-5到5e-6之间。批次巨细别贪年夜了，8或者16。梯度累积两步。考据集要定时间或类别分层切，不要随机切了，否则目标实高清洗。有个容易踩的坑是过拟合判断。锻炼loss降到0.1，考据loss起头往上走了，那时分别急着停。

先看考据集是不是拟合散布偏移了。前次一个激情阐发任务，考据集里尽是长文本，锻炼集漫笔本多。重新按长度分桶后，早停点往后推了三个epoch，F1涨了6个点排查。ai 科技模子微调里。

数据散布比超参数更值得花时间。参数高效微调方法能够尝尝LoRA。秩设8或16的，alpha取两倍秩。只锻炼0.1%的参数，效果能到全量微调的九成。我拿一个客服狡计识别任务比较过了。全量微调隐存要24G，LoRA，只要10G，推理时兼并权重，提早几乎没变吧？不中LoRA对规模差异年夜的任务，秩得往上加，32或64。再提一个不美不俗观察的，微调后的模子别间接上线。

先跑一周影子形式。把预测功效和人工判断比较。

有次一个金融风控模子了，离线AUC 0.91，上线三天误杀率飙升了。本果很简单是锻炼数据里没有比来三个月的买卖形式。ai 科技模子微调需求连绝迭代，不是一次性的活。把考据集更新周期设成两周，比调任何参数都管用。