HolE¶

class unike.module.model.HolE(*args: Any, **kwargs: Any)[源代码]¶

HolE [NRP16] 提出于 2016 年，利用循环相关进行知识图谱嵌入，是 RESCAL 的压缩版本，因此非常容易的应用于大型的知识图谱。

评分函数为:

\[\mathbf{r}^T (\mathcal{F}^{-1}(\overline{\mathcal{F}(\mathbf{h})} \odot \mathcal{F}(\mathbf{t})))\]

其中 \(\mathcal{F}(\cdot)\) 和 \(\mathcal{F}^{-1}(\cdot)\) 表示快速傅里叶变换，\(\overline{\mathbf{x}}\) 表示复数共轭，\(\odot\) 表示哈达玛积。

正三元组的评分函数的值越大越好，负三元组越小越好，如果想获得更详细的信息请访问 HolE。

例子:

from unike.utils import WandbLogger
from unike.data import KGEDataLoader, BernSampler, TradTestSampler
from unike.module.model import HolE
from unike.module.loss import SoftplusLoss
from unike.module.strategy import NegativeSampling
from unike.config import Trainer, Tester

wandb_logger = WandbLogger(
        project="unike",
        name="HolE-WN18RR",
        config=dict(
                in_path = '../../benchmarks/WN18RR/',
                batch_size = 8192,
                neg_ent = 25,
                test = True,
                test_batch_size = 256,
                num_workers = 16,
                dim = 100,
                regul_rate = 1.0,
                use_gpu = True,
                device = 'cuda:0',
                epochs = 1000,
                lr = 0.5,
                opt_method = 'adagrad',
                valid_interval = 100,
                log_interval = 100,
                save_interval = 100,
                save_path = '../../checkpoint/hole.pth'
        )
)

config = wandb_logger.config

# dataloader for training
dataloader = KGEDataLoader(
        in_path = config.in_path, 
        batch_size = config.batch_size,
        neg_ent = config.neg_ent,
        test = config.test,
        test_batch_size = config.test_batch_size,
        num_workers = config.num_workers,
        train_sampler = BernSampler,
        test_sampler = TradTestSampler
)

# define the model
hole = HolE(
        ent_tol = dataloader.get_ent_tol(),
        rel_tol = dataloader.get_rel_tol(),
        dim = config.dim
)

# define the loss function
model = NegativeSampling(
        model = hole, 
        loss = SoftplusLoss(),
        regul_rate = config.regul_rate
)

# test the model
tester = Tester(model = hole, data_loader = dataloader, use_gpu = config.use_gpu, device = config.device)

# train the model
trainer = Trainer(model = model, data_loader = dataloader.train_dataloader(), epochs = config.epochs,
        lr = config.lr, opt_method = config.opt_method, use_gpu = config.use_gpu, device = config.device,
        tester = tester, test = config.test, valid_interval = config.valid_interval,
        log_interval = config.log_interval, save_interval = config.save_interval,
        save_path = config.save_path, wandb_logger = wandb_logger)
trainer.run()

# close your wandb run
wandb_logger.finish()

__call__(*args: Any, **kwargs: Any) → Any¶: Call self as a function.

__init__(ent_tol: int, rel_tol: int, dim: int = 100)[源代码]¶

创建 HolE 对象。

参数:

ent_tol (int) – 实体的个数
rel_tol (int) – 关系的个数
dim (int) – 实体和关系嵌入向量的维度

static __new__(cls, *args: Any, **kwargs: Any) → Any¶

__repr__() → str¶: Return repr(self).

__weakref__¶: list of weak references to the object (if defined)

_calc(h: torch.Tensor, r: torch.Tensor, t: torch.Tensor) → torch.Tensor[源代码]¶

计算 HolE 的评分函数。

参数:

h (torch.Tensor) – 头实体的向量。
r (torch.Tensor) – 关系的向量。
t (torch.Tensor) – 尾实体的向量。

返回:

三元组的得分

返回类型:

torch.Tensor

_ccorr(a: torch.Tensor, b: torch.Tensor) → torch.Tensor[源代码]¶

计算循环相关 \(\mathcal{F}^{-1}(\overline{\mathcal{F}(\mathbf{h})} \odot \mathcal{F}(\mathbf{t}))\)。

利用 torch.fft.rfft() 计算实数到复数离散傅里叶变换，torch.fft.irfft() 是其逆变换；利用 torch.conj() 计算复数的共轭。

参数:

a (torch.Tensor) – 头实体的向量。
b (torch.Tensor) – 尾实体的向量。

返回:

返回循环相关计算结果。

返回类型:

torch.Tensor

dim: int¶: 实体和关系嵌入向量的维度

ent_embeddings: torch.nn.Embedding¶: 根据实体个数，创建的实体嵌入

ent_tol: int¶: 实体的种类

forward(triples: torch.Tensor, negs: torch.Tensor | None = None, mode: str = 'single') → torch.Tensor[源代码]¶

定义每次调用时执行的计算。 torch.nn.Module 子类必须重写 torch.nn.Module.forward()。

参数:

triples (str) – 正确的三元组
negs (torch.Tensor) – 负三元组类别
mode – 模式

返回:

三元组的得分

返回类型:

torch.Tensor

get_parameters(mode: str = 'numpy', param_dict: dict[str, Any] | None = None) → dict[str, numpy.ndarray] | dict[str, list] | dict[str, torch.Tensor]¶

获得模型权重。

参数:

mode – 模型保存的格式，可以选择 numpy 、 list 和 Tensor 。
param_dict (dict[str, Any] | None) – 可以选择从哪里获得模型权重。

返回:

模型权重字典。

返回类型:

dict[str, numpy.ndarray] | dict[str, list] | dict[str, torch.Tensor]

l3_regularization() → torch.Tensor[源代码]¶

L3 正则化函数，在损失函数中用到。

返回:: 模型参数的正则损失
返回类型:: torch.Tensor

load_checkpoint(path: str)¶

加载模型权重。

参数:: path (str) – 模型保存的路径

load_parameters(path: str)¶

加载模型权重。

参数:: path (str) – 模型保存的路径

pi_const: torch.nn.parameter.Parameter¶: 常数 pi

predict(data: dict[str, Union[torch.Tensor, str]], mode) → torch.Tensor[源代码]¶

HolE 的推理方法。

参数:: data (dict[str, Union[torch.Tensor,str]]) – 数据。
返回:: 三元组的得分
返回类型:: torch.Tensor

regularization(data: dict[str, Union[torch.Tensor, str]]) → torch.Tensor[源代码]¶

L2 正则化函数（又称权重衰减），在损失函数中用到。

参数:: data (dict[str, Union[torch.Tensor, str]]) – 数据。
返回:: 模型参数的正则损失
返回类型:: torch.Tensor

rel_embeddings: torch.nn.Embedding¶: 根据关系个数，创建的关系嵌入

rel_tol: int¶: 关系的种类

save_checkpoint(path: str)¶

保存模型权重。

参数:: path (str) – 模型保存的路径

save_parameters(path: str)¶

用 json 格式保存模型权重。

参数:: path (str) – 模型保存的路径

set_parameters(parameters: dict[str, Any])¶

加载模型权重。

参数:: parameters (dict[str, Any]) – 模型权重字典。

tri2emb(triples: torch.Tensor, negs: torch.Tensor | None = None, mode: str = 'single') → tuple[torch.Tensor, torch.Tensor, torch.Tensor]¶

返回三元组对应的嵌入向量。

参数:

triples (str) – 正确的三元组
negs (torch.Tensor) – 负三元组类别
mode – 模式

返回:

头实体、关系和尾实体的嵌入向量

返回类型:

tuple[torch.Tensor, torch.Tensor, torch.Tensor]

zero_const: torch.nn.parameter.Parameter¶: 常数 0

HolE¶

Docs