from torch import nn
import torch.nn.functional as F
import torch
import math
class MoELayer(nn....MOE-算法
71 views
分类标签归档：NLP
手撕selfAttention和MHA
246 views
from torch import nn
import torch.nn.functional as F
import torch
import math
class SelfAttenti...DPO、PPO和GRPO的伪代码loss计算
271 views
1.1 PPO 的关键角色
- 策略（LLM）：我们正在训练的 LLM，用于生成更好的文本。
- 奖励模型：根据人类偏好对文本打分的 AI 裁判。
- 价值函数（辅助教练）：另一个 AI 模型，充当“辅助...
text2sql论文14:Tool-Assisted Agent on SQL Inspection and Refinement in Real-World Scenarios
332 views
Tool-SQL：基于Agent智能体的Text2SQL解决方案，显著提升Text2SQL效果
1.背景与挑战
Text2SQL核心问题：自然语言转SQL在真实场景中面临数据库不匹配（Datab...
text2sql论文13-XiYan-SQL：一种多生成器集成的Text-to-SQL框 架
850 views
1、XiYan-SQL框架：提出了XiYan-SQL框架，它采用多生成器集成策略来增强生成候选SQL的能力。该框架结合了提示词工程（ICL）的巨大潜力和有监督的微调（SFT）方法的高可控性。
-
...
如何选择 ZeRO 策略
937 views
模型训练阶段，每张卡中显存占用可以分为两类：
模型状态
模型参数（fp16）、模型梯度（fp16）和 Adam 优化器状态（fp32 的模型参数备份，fp32 的 momentum 和 fp32...
text2sql论文12-picard: Parsing Incrementally for Constrained Auto-Regressive Decoding from Language Models
1343 views
背景
文本数据的大型预训练语言模型具有不受约束的输出空间；在每个解码步骤中，它们可以产生数万个token中的任何一个。当对SQL等受约束的形式语言进行Fine-tune时，这些模型通常会生成无效...
text2sql论文11-SC-prompt: Few-shot Text-to-SQL Translation using Structure and Content Prompt Learning
1656 views
背景
1、文本到SQL翻译是将自然语言问题翻译为SQL查询的任务，具有广泛的应用前景。然而，在少样本情况下，现有的方法往往无法很好地泛化到新的数据集上。 2、过去方案: 过去的方法主要采用预训练...
text2sql论文10-MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL
1437 views
背景
一种用于文本到sql的多代理协作框架。该框架由三个Agents组成:Selector、Decomposer和Refiner。选择器压缩数据库并为用户查询保留相关的表模式。分解器将复杂的用户...
text2sql论文09-IRnet:Towards Complex Text-to-SQL in Cross-Domain Database with Intermediate Representation
1315 views
背景
1、mismatch problem：自然语言(NL)表达的意图与SQL实现细节之间的不匹配;
2、lexical problem：大量的领域外的词给预测列带来了挑战。
方法
与端到端合...