import torch
from torch import nn
import numpy as np
class ScaledDotProductAttention(nn.Module)...手撕单头注意力机制
913 views
分类标签归档：机器学习
手撕 numpy写线性回归的随机梯度下降
1025 views
import numpy as np
from matplotlib import pyplot as plt
# 生成权重以及偏执项layers_dim代表每层的神经元个数，
# 比如[...手撕 numpy写线性回归的随机梯度下降（stochastic gradient descent，SGD）
1084 views
# 数据加载
from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import...强化学习-demo
1148 views
强化学习一定有一个学习的环境，智能体通过当前环境选择动作，环境对智能体选择的动作更新环境并给出反馈/奖励（reward）.我们这次使用的环境可以看作是一条单向的小路 如------+，小路（-）...
共享数据集
1104 views
所有数据集均来源于网络，只做整理供大家提取方便，如果有侵权等问题，请及时联系我们删除。
** 需要以下数据，可以评论区留言**
1 NLP数据集
(1) 分类数据
(2) 实体识别
(3) 关于...
神经网络调参经验大汇总-NLP
1156 views
1 熟悉数据
2 端到端训练+获取基线
3 过拟合
4 正则化
5 调模型
- 随机网格搜索
- 超参数优化
6 再挤挤
- 集成模型
- 继续训练
Transformer位置编码
1160 views
1 绝对位置编码
- 训练式: BERT、GPT
- 三角式:
$$ \left{\begin{array}{l} \boldsymbol{p}{k, 2 i}=\sin \left(k / 1000...
相对位置编码-NAZHA
961 views
正弦位置编码
2043 views
绝对位置编码-BERT
974 views
- 参考苏剑林老师的bert4keras中的代码
from keras.layers import Layer
import keras.backend as K
from keras impo...