Pytorch-tensor的激活函数

1.激活函数

函数1：RELU()：

a=torch.linspace(-1,1,10) print(a) # relu()小于0的都归为0，大于0的成线性 print(torch.relu(a))

输出结果

tensor([-1.0000, -0.7778, -0.5556, -0.333 3, -0.1111, 0.1111, 0.3333, 0.5556, 0.7778, 1.0000]) tensor([0.0000, 0.0000, 0.0000, 0.0000, 0 .0000, 0.1111, 0.3333, 0.5556, 0.7778, 1.0000])

函数2：Sigmoid()：

a=torch.linspace(-100,100,10) print(a) # relu()小于0的都归为0，大于0的成线性 print(torch.sigmoid(a))

输出结果

tensor([-100.0000, -77.7778, -55.5556, -33.3333, -11.1111, 11.1111, 33.3333, 55.5556, 77.7778, 100.0000]) tensor([0.0000e+00, 1.6655e-34, 7.4564e-2 5, 3.3382e-15, 1.4945e-05, 9.9999e-01, 1.0000e+00, 1.0000e+00, 1.0000e+0 0, 1.0000e+00])

函数3：Tanh()：

a=torch.linspace(-10,10,10) print(a) # relu()小于0的都归为0，大于0的成线性 print(torch.tanh(a))

输出结果

tensor([-10.0000, -7.7778, -5.5556, -3 .3333, -1.1111, 1.1111, 3.3333, 5.5556, 7.7778, 10.0000]) tensor([-1.0000, -1.0000, -1.0000, -0.997 5, -0.8045, 0.8045, 0.9975, 1.0000, 1.0000, 1.0000])