訂閱
糾錯
加入自媒體

NLP ——從0開始快速上手百度 ERNIE

2020-12-17 10:53
程序媛驛站
關注

前文我們已經簡單講解過ERNIE1.0與2.0的構成與區別

NLP | 百度 ERNIE - 簡析1.0 與 2.0

一篇簡單易懂的好文

本文小媛帶來的是【從0開始快速上手百度 ERNIE】

原文詳見文末原文鏈接

一、前置條件

在使用ERNIE模型之前,用戶需要完成如下任務:

安裝Python3.7.5版本。

安裝paddlepaddle 1.8版本,具體安裝方法請參見快速安裝(文末)。

執行如下命令從GitHub上獲取ERNIE代碼庫。如果網絡速度較慢用戶可以跳過此步,因為教程自帶有ERNIE的包。

!git clone -b dygraph --single-branch https://github.com/PaddlePaddle/ERNIE.git

使用pip方式安裝其他依賴文件。

!pip install -r ERNIE/requirements.txt

   依賴文件主要包括:

numpy:Python的一種開源數值計算拓展,可以用來進行大型張量的存儲和計算。scikit-learn:機器學習工具包。scipy:科學計算庫。six:解決py2和py3代碼兼容性的工具包。

二、快速運行

這里以使用情感分析數據集ChnSentiCorp的ERNIE中文預模型為例,展示如何通過簡單的三個步驟就可以快速使用ERNIE 1.0中文Base模型實現情感分析場景的推理。

ChnSentiCorp是一個中文情感分析數據集,包含酒店、筆記本電腦和書籍的網購評論。表1對ERNIE1.0/2.0和BERT中文模型在該任務上的效果進行了評測,評測使用的指標為準確率(acc),即在使用驗證集或測試集進行推理時,推理正確的數據條目占數據集數據總數的百分比。從表1中可以看到ERNIE具有明顯的優勢。

使用ERNIE 1.0中文Base模型進行推理分如下三個步驟:

數據獲取。介紹如何下載ChnSentiCorp數據集,以及數據集的結構,這樣用戶可以參考數據集的結構構造用于Fine-tuning的數據集。此外如果用戶希望使用自定義數據集進行訓練,則可以仿照ChnSentiCorp數據集的結構,構建自己的數據集。

運行Fine-tuning。介紹如何設置數據和模型路徑的環境變量,以及如何執行腳本進行Fine-tuning。

執行推理。使用腳本運行Fine-tuning成功的模型進行推理。

表1 ERNIE1.0/2.0和BERT的測評表

數據集
ChnSentiCorp

評估

指標

準確率(acc)
驗證集(dev)
測試集(test)
BERT Base94.694.3ERNIE 1.0 Base95.2 (+0.6)95.4 (+1.1)ERNIE 2.0 Base95.7 (+1.1)95.5 (+1.2)ERNIE 2.0 Large 96.1 (+1.5)95.8 (+1.5)1. 數據獲取

ERNIE在多個中文和英文NLP任務上做過評測,中文任務的數據可以通過下面的命令獲取, ChnSentiCorp數據亦包含其中。

!wget https://ernie-github.cdn.bcebos.com/data-chnsenticorp.tar.gz!tar xvf data-chnsenticorp.tar.gz

1  2  3  下一頁>  
聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權或其他問題,請聯系舉報。

發表評論

0條評論,0人參與

請輸入評論內容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續

暫無評論

暫無評論

文章糾錯
x
*文字標題:
*糾錯內容:
聯系郵箱:
*驗 證 碼:

粵公網安備 44030502002758號

重庆时时彩app安卓系统 山东体彩11选5 麻将软件怎么破解 云南11选5如何准确选号 晓游棋牌游戏大厅下载 内蒙古快3全天实时计划 蓝洞棋牌游戏下载 多游四川麻将血战到底下载 tbplay618通宝 江苏快三开奖号码 河北福彩官网 腾讯棋牌麻将来了 湖北11选五开奖结果 36棋牌新神兽下载 时时彩缩水手机版下载 22号江西快三开奖查询 百赢棋牌破解版