主頁 > 知識庫 > 使用Pytorch實現(xiàn)two-head(多輸出)模型的操作

使用Pytorch實現(xiàn)two-head(多輸出)模型的操作

熱門標(biāo)簽:手機網(wǎng)頁嵌入地圖標(biāo)注位置 天津電話機器人公司 400電話辦理哪種 應(yīng)電話機器人打電話違法嗎 地圖標(biāo)注線上如何操作 開封語音外呼系統(tǒng)代理商 電銷機器人的風(fēng)險 河北防封卡電銷卡 開封自動外呼系統(tǒng)怎么收費

如何使用Pytorch實現(xiàn)two-head(多輸出)模型

1. two-head模型定義

先放一張我要實現(xiàn)的模型結(jié)構(gòu)圖:

如上圖,就是一個two-head模型,也是一個但輸入多輸出模型。該模型的特點是輸入一個x和一個t,h0和h1中只有一個會輸出,所以可能這不算是一個典型的多輸出模型。

2.實現(xiàn)所遇到的困難 一開始的想法:

這不是很簡單嘛,做一個判斷不就完了,t=0時模型為前半段加h0,t=1時模型為前半段加h1。但實現(xiàn)的時候傻眼了,發(fā)現(xiàn)在真正前向傳播的時候t是一個tensor,有0有1,沒法兒進行判斷。

靈機一動,又生一法:把這個模型變?yōu)槿齻€模型,前半段是一個模型(r),后面的h0和h1分別為另兩個模型。把數(shù)據(jù)集按t=0和1分開,分別訓(xùn)練兩個模型:r+h0和r+h1。

但是后來搜如何進行模型串聯(lián),發(fā)現(xiàn)極為麻煩。

3.解決方案

后來在pytorch的官方社區(qū)中看到一個極為簡單的方法:

(1) 按照一般的多輸出模型進行實現(xiàn),代碼如下:

def forward(self, x):
        #三層的表示層
        x = F.elu(self.fcR1(x))
        x = F.elu(self.fcR2(x))
        x = F.elu(self.fcR3(x))
		#two-head,兩個head分別進行輸出
        y0 = F.elu(self.fcH01(x))
        y0 = F.elu(self.fcH02(y0))
        y0 = F.elu(self.fcH03(y0))
        y1 = F.elu(self.fcH11(x))
        y1 = F.elu(self.fcH12(y1))
        y1 = F.elu(self.fcH13(y1))
        return y0, y1

這樣就相當(dāng)實現(xiàn)了一個多輸出模型,一個x同時輸出y0和y1.

訓(xùn)練的時候分別訓(xùn)練,也即分別建loss,代碼如下:

    f_out_y0, _ = net(x0)
            _, f_out_y1 = net(x1)
            #實例化損失函數(shù)
            criterion0 = Loss()
            criterion1 = Loss()
            loss0 = criterion0(f_y0, f_out_y0, w0)
            loss1 = criterion1(f_y1, f_out_y1, w1)
            print(loss0.item(), loss1.item())
            #對網(wǎng)絡(luò)參數(shù)進行初始化
            optimizer.zero_grad()
            loss0.backward()
            loss1.backward()
            #對網(wǎng)絡(luò)的參數(shù)進行更新
            optimizer.step()

先把x按t=0和t=1分為x0和x1,然后分別送入進行訓(xùn)練。這樣就實現(xiàn)了一個two-head模型。

4.后記

我自以為多輸出模型可以分為以下兩類:

多個輸出不同時獲得,如本文情況。

多個輸出同時獲得。

多輸出不同時獲得的解決方法上文已說明。多輸出同時獲得則可以通過把y0和y1拼接起來一起輸出來實現(xiàn)。

補充:PyTorch 多輸入多輸出模型構(gòu)建

本篇教程基于 PyTorch 1.5版本

直接上代碼!

import torch
import torch.nn as nn
from torch.autograd import Variable
import torch.distributed as dist
import torch.utils.data as data_utils
class Net(nn.Module):
    def __init__(self, n_input, n_hidden, n_output):
        super(Net, self).__init__()
        self.hidden1 = nn.Linear(n_input, n_hidden)
        self.hidden2 = nn.Linear(n_hidden, n_hidden)
        self.predict1 = nn.Linear(n_hidden*2, n_output)
        self.predict2 = nn.Linear(n_hidden*2, n_output)
    def forward(self, input1, input2): # 多輸入?。?!
        out01 = self.hidden1(input1)
        out02 = torch.relu(out01)
        out03 = self.hidden2(out02)
        out04 = torch.sigmoid(out03)
        out11 = self.hidden1(input2)
        out12 = torch.relu(out11)
        out13 = self.hidden2(out12)
        out14 = torch.sigmoid(out13)
        out = torch.cat((out04, out14), dim=1) # 模型層拼合?。?!當(dāng)然你的模型中可能不需要~
 
        out1 = self.predict1(out)
        out2 = self.predict2(out)
        return out1, out2 # 多輸出!??!
net = Net(1, 20, 1)
x1 = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1) # 請不要關(guān)心這里,隨便弄一個數(shù)據(jù),為了說明問題而已
y1 = x1.pow(3)+0.1*torch.randn(x1.size())
x2 = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1)
y2 = x2.pow(3)+0.1*torch.randn(x2.size())
x1, y1 = (Variable(x1), Variable(y1))
x2, y2 = (Variable(x2), Variable(y2))
optimizer = torch.optim.SGD(net.parameters(), lr=0.1)
loss_func = torch.nn.MSELoss()
for t in range(5000):
    prediction1, prediction2 = net(x1, x2)
    loss1 = loss_func(prediction1, y1)
    loss2 = loss_func(prediction2, y2)
    loss = loss1 + loss2 # 重點!
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    if t % 100 == 0:
       print('Loss1 = %.4f' % loss1.data,'Loss2 = %.4f' % loss2.data,)

至此搞定!

以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。

您可能感興趣的文章:
  • pytorch構(gòu)建多模型實例
  • pytorch模型存儲的2種實現(xiàn)方法
  • 如何使用Pytorch搭建模型
  • 詳解Pytorch 使用Pytorch擬合多項式(多項式回歸)

標(biāo)簽:山東 成都 駐馬店 宿遷 江蘇 六盤水 蘭州 常州

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《使用Pytorch實現(xiàn)two-head(多輸出)模型的操作》,本文關(guān)鍵詞  使用,Pytorch,實現(xiàn),two-head,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《使用Pytorch實現(xiàn)two-head(多輸出)模型的操作》相關(guān)的同類信息!
  • 本頁收集關(guān)于使用Pytorch實現(xiàn)two-head(多輸出)模型的操作的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章