实现 strStr() 函数。
给定一个 haystack 字符串和一个 needle 字符串，在 haystack 字符串中找出 needle 字符串出现的第一个位置 (从0开始)。如果不存在...
实现 strStr() 函数-KMP
12 views
作者文章归档：coming
手撕selfAttention和MHA
29 views
from torch import nn
import torch.nn.functional as F
import torch
import math
class SelfAttenti...DPO、PPO和GRPO的伪代码loss计算
38 views
1.1 PPO 的关键角色
- 策略（LLM）：我们正在训练的 LLM，用于生成更好的文本。
- 奖励模型：根据人类偏好对文本打分的 AI 裁判。
- 价值函数（辅助教练）：另一个 AI 模型，充当“辅助...
text2sql：粗略方案
94 views
text2sql论文14:Tool-Assisted Agent on SQL Inspection and Refinement in Real-World Scenarios
105 views
Tool-SQL：基于Agent智能体的Text2SQL解决方案，显著提升Text2SQL效果
1.背景与挑战
Text2SQL核心问题：自然语言转SQL在真实场景中面临数据库不匹配（Datab...
text2sql论文13-XiYan-SQL：一种多生成器集成的Text-to-SQL框 架
620 views
1、XiYan-SQL框架：提出了XiYan-SQL框架，它采用多生成器集成策略来增强生成候选SQL的能力。该框架结合了提示词工程（ICL）的巨大潜力和有监督的微调（SFT）方法的高可控性。
-
...
Linux 打印文本部分行内容（前几行，指定行，中间几行，跨行，奇偶行，后几行，最后一行，匹配行）
794 views
背景
打印对账文件最后一行汇总信息，通过钉钉定时发送到运维群。顺便总结下 Linux 打印文本部分行内容的各种方法。
测试文本
#生成测试文本内容
$ seq -f "%02g dao...如何选择 ZeRO 策略
719 views
模型训练阶段，每张卡中显存占用可以分为两类：
模型状态
模型参数（fp16）、模型梯度（fp16）和 Adam 优化器状态（fp32 的模型参数备份，fp32 的 momentum 和 fp32...
text2sql论文12-picard: Parsing Incrementally for Constrained Auto-Regressive Decoding from Language Models
1141 views
背景
文本数据的大型预训练语言模型具有不受约束的输出空间；在每个解码步骤中，它们可以产生数万个token中的任何一个。当对SQL等受约束的形式语言进行Fine-tune时，这些模型通常会生成无效...
text2sql论文11-SC-prompt: Few-shot Text-to-SQL Translation using Structure and Content Prompt Learning
1366 views
背景
1、文本到SQL翻译是将自然语言问题翻译为SQL查询的任务，具有广泛的应用前景。然而，在少样本情况下，现有的方法往往无法很好地泛化到新的数据集上。 2、过去方案: 过去的方法主要采用预训练...