Tuning
LoRA（Low-Rank Adaptation of Large Language Models）-- 一种大模型prompt-tuning调优方法
一、Pre-train + Fine-tuning范式 0x1：为什么要微调 对于数据集本身很小（几千张图片/几千段文本）的情况，从头开始训练具有几千万参数的大型神经网络是不现实的，因为越大的模型对数据量的要求越大，过拟合无法避免。这时候如果还想用上大型神经网络的超强特征提取能力，只能靠微调已经训练 ......
SQLite performance tuning
SQLite performance tuning - Scaling SQLite databases to many concurrent readers and multiple gigabytes while maintaining 100k SELECTs per second - phi ......
Oracle SQL优化之STA(SQL Tuning Advisor)
前言：经常可以碰到优化sql的需求，开发人员直接扔过来一个SQL让DBA优化，然后怎么办？ 当然，经验丰富的DBA可以从各种方向下手，有时通过建立正确索引即可获得很好的优化效果，但是那些复杂SQL错综复杂的表关联，却让DBA们满头大汗。 如下特别介绍一种oracle官方提供的科学优化方法STA，经过 ......
MULTIINSTRUCT: Improving Multi-Modal Zero-Shot Learning via Instruction Tuning
指令调优是一种新的学习范式，它可以根据指令指定的任务对预先训练好的语言模型进行微调，在各种自然语言处理任务中显示出良好的零目标性能。然而，对于视觉和多模态任务，它仍然没有被探索。在这项工作中，我们介绍了multiinstruction，这是第一个多模态指令调优基准数据集，由47个不同的多模态任务组成 ......
如何使用OpenAI Fine-tuning API微调GPT-3模型
https://platform.openai.com/docs/guides/fine-tuning（官方文档） 当我们使用语言模型时候，往往需要给多个例子供ai参考，才能给出更为准确的回答，这种方法费时费力。而通过微调（Fine-tuning）能够把原始模型打造成更加适合你的任务需求的模型。 ......
解密Prompt系列4. 升级Instruction Tuning：Flan/T0/InstructGPT/TKInstruct
这一章我们聊聊指令微调，模型还是那个熟悉的模型，核心的差异在于指令集和评估侧重点的不同，每个模型只侧重介绍差异点。按时间顺序分别是Flan，T0，InstructGPT， Tk-Instruct ......
解密Prompt系列3. 冻结LM微调Prompt: Prefix-Tuning & Prompt-Tuning & P-Tuning
这一章我们介绍在下游任务微调中固定LM参数，只微调Prompt的相关模型。这类模型的优势很直观就是微调的参数量小，能大幅降低LLM的微调参数量，是轻量级的微调替代品 ......