本文为图神经网络学习笔记，讲解 SGC。欢迎在评论区与我交流👏

前言

本教程讲解如何使用 Tensorflow 构建 GCN 的变体 SGC 模型进行节点分类任务。

SGC 简介

SGC 通过消除 GCN 层间的非线性，将非线性的 GCN 转变为简单的线性模型，减小了模型复杂度 ，在很多任务上比 GCN 以及其他 GNN 模型更加高效。

GCN 做节点分类时：

对邻接矩阵归一化并添加自环：$S=D^{-0.5}\hat{A}{D}^{-0.5}$对输入节点特征进行平滑处理：$H^k=S{H}^{k-1}=D^{-0.5}\hat{A}{D}^{-0.5}{H}^{k-1}$对节点特征进行非线性变换：${\hat{H}}^k=\sigma (H^k{\theta }^k)=\sigma (D^{-0.5}\hat{A}{D}^{-0.5}{H}^{k-1}{\theta }^k)=\sigma (D^{-0.5}\hat{A}{D}^{-0.5}{H}^{k-1}{W}^k)$

所以对于节点分类任务，一个 $k$ 层的 GCN 可以表示为：$Y=softmax(S{H}^{k-1}{W}^k)$

SGC 移除了 GCN 层间的激活函数，将原先的非线性变换简化为线性变换，因此 SGC 在做节点分类任务时：

对邻接矩阵归一化并添加自环：$S=D^{-0.5}\hat{A}{D}^{-0.5}$对输入节点特征进行平滑处理：$H^k=S{H}^{k-1}=D^{-0.5}\hat{A}{D}^{-0.5}{H}^{k-1}$对节点特征进行线性转换：${\hat{H}}^k=H^k{\theta }^k=S{H}^{k-1}{\theta }^k=SS{H}^{k-2}{\theta }^{k-1}{\theta }^k=SS{\theta }^1\cdots {\theta }^k$

对于节点分类任务，一个 $k$ 层的 SGC 可以表示为 $Y=softmax(SS\cdots X{\theta }^1\cdots {\theta }^k)$，简写为： $$Y=softmax(S^{k}X\theta )=softmax(S^{k}XW)$$ SGC中的 $S^k$ 可以提前计算，大大减少了计算量。

实践

接下来基于 tf_geometric 实现 SGC 模型。

SGC 实现

对图的邻接矩阵进行对称归一化处理：

updated_edge_index, normed_edge_weight = gcn_norm_edge(edge_index, x.shape[0], edge_weight,renorm, improved, cache)

计算 $S^{k}X$，扩大模型的感受野，``aggregator_neighbor聚合一阶邻居节点信息，迭代聚合k` 次，相当于聚合了距离中心节点 k-hop 的邻域信息。

h = x for _ in range(K): h = aggregate_neighbors( h, updated_edge_index, normed_edge_weight, gcn_mapper, sum_reducer, identity_updater )

对上面的聚合结果进行线性变换，即计算 $S^{k}XW$，然后返回计算结果：

h = h @ kernel if bias is not None: h += bias return h

现在只需要在模型最后一行的输出上添加 softmax 激活函数就可以进行节点分类了。

模型构建

导入相关库。使用 tf_geometric 进行图数据导入、图数据预处理及神经网络的构建。SGC 的具体实现已经在上面详细介绍，后面会使用 keras.metrics.Accuracy 评估模型性能.

# coding=utf-8 import os os.environ["CUDA_VISIBLE_DEVICES"] = "0" import tensorflow as tf from tensorflow import keras from tf_geometric.layers.conv.sgc import SGC from tf_geometric.datasets.cora import CoraDataset

使用 tf_geometric 自带的图结构数据接口加载 Cora 数据集：

# 加载 Cora 数据集 graph, (train_index, valid_index, test_index) = CoraDataset().load_data()

定义模型：

model = SGC(num_classes, k=2)

SGC 训练

模型的训练与其他基于 Tensorflow 框架的模型训练基本一致，主要步骤有定义优化器、计算误差与梯度、反向传播等。SGC 模型 K 阶的计算结果由 softmax 映射到 (0,1) 直接进行多分类任务。

# 定义优化器 optimizer = tf.keras.optimizers.Adam(learning_rate=0.2) for step in range(1,101): with tf.GradientTape() as tape: # 前向传播 logits = model([graph.x, graph.edge_index, graph.edge_weight], cache=graph.cache) logits = tf.nn.log_softmax(logits,axis=1) # 计算损失 loss = compute_loss(logits, train_index, tape.watched_variables()) vars = tape.watched_variables() grads = tape.gradient(loss, vars) # 计算梯度 optimizer.apply_gradients(zip(grads, vars)) # 梯度下降优化 valid_acc = evaluate(valid_index) # 计算验证集 test_acc = evaluate(test_index) # 计算测试集 print("step = {}\tloss = {}\tvalid_acc = {}\ttest_acc = {}".format(step, loss, valid_acc, test_acc))

计算损失方法与【ChebyNet】中相同。

用交叉熵损失函数计算模型损失。注意在加载 Cora 数据集时，返回值是整个图数据以及相应的 train_index、valid_index、test_index。TAGCN 在训练时输入整个Graph，计算损失时通过 train_index 计算模型在训练集上的迭代损失。因此，此时传入的 mask_index 是 train_index。由于是多分类任务，需要将节点的标签转换为 one-hot 向量以便与模型输出的结果维度对应。由于图神经模型在小数据集上很容易过拟合，所以这里用 $L_2$ 正则化缓解过拟合：

def compute_loss(logits, mask_index, vars): masked_logits = tf.gather(logits, mask_index) # 前向传播（预测）的结果，取训练数据部分 masked_labels = tf.gather(graph.y, mask_index) # 真是结果，取训练数据部分 losses = tf.nn.softmax_cross_entropy_with_logits( logits=masked_logits, # 预测结果 labels=tf.one_hot(masked_labels, depth=num_classes) # 真实结果，即标签 ) # 用 L2 正则化缓解过拟合 kernel_vals = [var for var in vars if "kernel" in var.name] l2_losses = [tf.nn.l2_loss(kernel_var) for kernel_var in kernel_vals] # reduce_mean 计算张量的平均值；tf.add_n 列表对应元素相加 return tf.reduce_mean(losses) + tf.add_n(l2_losses) * 5e-5

SGC 评估

评估方法与【ChebyNet】中相同。

评估模型性能时只需传入 valid_mask 或 test_mask，通过 tf.gather 函数可以拿出验证集或测试集在模型上的预测结果与真实标签，用 keras自带的 keras.metrics.Accuracy 计算准确率：

def evaluate(mask): logits = forward(graph # 前向传播结果 logits = tf.nn.log_softmax(logits, axis=1) # 假设函数处理 masked_logits = tf.gather(logits, mask) # 预测结果 masked_labels = tf.gather(graph.y, mask) # 真实标签 # 返回预测结果向量最大值的索引 y_pred = tf.argmax(masked_logits, axis=-1, output_type=tf.int32) accuracy_m = keras.metrics.Accuracy() accuracy_m.update_state(masked_labels, y_pred) return accuracy_m.result().numpy() # 准确度结果转换为 numpy 返回

运行结果

step = 1 loss = 1.9458770751953125 valid_acc = 0.5120000243186951 test_acc = 0.5389999747276306 step = 2 loss = 1.8324840068817139 valid_acc = 0.722000002861023 test_acc = 0.7350000143051147 step = 3 loss = 1.7052000761032104 valid_acc = 0.4740000069141388 test_acc = 0.4729999899864197 step = 4 loss = 1.6184687614440918 valid_acc = 0.5580000281333923 test_acc = 0.5360000133514404 ... step = 97 loss = 0.9681359529495239 valid_acc = 0.7919999957084656 test_acc = 0.8130000233650208 step = 98 loss = 0.9678354263305664 valid_acc = 0.7919999957084656 test_acc = 0.8100000023841858 step = 99 loss = 0.9675441384315491 valid_acc = 0.7919999957084656 test_acc = 0.8100000023841858 step = 100 loss = 0.967261791229248 valid_acc = 0.7919999957084656 test_acc = 0.8100000023841858

有帮助的话点个赞加关注吧 😃

完整代码见【demo_sgc.py】，完整教程见【Tensorflow-SGC-Tutorial】。