顯示廣告
隱藏 ✕
回列表(←)
Disp BBS guest 註冊 登入(i) 線上人數: 691
首頁(home) 上頁(↑) 下頁(↓) 末頁(end)
※ 本文為 MindOcean 轉寄自 ptt.cc 更新時間: 2016-09-29 09:06:36
看板 Gossiping
作者 followwar (嫌疑犯X的獻身)
標題 Re: [新聞] Google發布類神經機器翻譯 翻譯品質接近
時間 Wed Sep 28 23:43:16 2016

※ 引述《IN (願自身光明熾然照耀世界)》之銘言：
: Google發布類神經機器翻譯 翻譯品質接近筆譯人員
: Google的類神經機器翻譯（GNMT）對八層長的短時記憶遞歸類神經網路（LSTM-RNNs）依
: 賴性很強。 “通過層間殘留聯繫可以加強梯度流。”Google科學家在論文中寫道。在影
                       ↑residual connection
: 像處理器的幫助下，類神經網路一旦變得足夠成熟，Google就可以靠它尚未發布的張量處
: 理單元進行數據處理。

個人是看好接近人類水準的機器翻譯啦
畢竟GOOGLE現在推出了8層的LSTM來做，那16層應該會更好...那100層呢?
不過這類研究也只有GOOGLE做得起來

難點有:
1.唯有GOOGLE手中握有龐大的訓練資料
  (facebook也有不少，所以深度學習研究者都往這兩家跑)

2.GOOGLE手中有巨量的GPU伺服器
  你自己花一周訓練類神經網路，在GOOGLE的分散式GPU伺服器下可能只要一天

3.GOOGLE有數以百計的標記人員
  他們的工作就是專門標記圖片、聲音等等


讓我們再來看看GOOGLE另一篇驚世之作

Google 的 WaveNet AI 可以產生出更擬真的合成人聲
https://goo.gl/kcQ3JJ
Google 的 WaveNet AI 可以產生出更擬真的合成人聲
[圖]
目前常見的電腦合成人聲，大致上可以分成兩種：一種是利用一個龐大的樣本資料庫來做組合，另一種是用小的樣本資料（各別的音節），但透過電子的方式去修改它的音調和語速。第一種聽起來會比較自然，但需要大量的時間和精力來準備資料庫，而且也很佔空間；第二種則是雖然比較不佔空間，但用合成的去修改音調，聽起來還是比較 ...

 

https://deepmind.com/blog/wavenet-generative-model-raw-audio/
WaveNet: A Generative Model for Raw Audio | DeepMind
[圖]
This post presents WaveNet, a deep generative model of raw audio waveforms. We show that WaveNets are able to generate speech which mimics any human v ...

 
內有DEMO


所以GOOGLE的目標很明顯了
要可以即時的進行口語翻譯
相信再過不久GOOGLE就會推出即時口語翻譯的論文...

-----

順便科普一下
現在類神經網路在2016年一日千里要歸功於一位華人
Kaiming He 何愷明
得過2次CVPR best paper award的神人，也是第一次得獎的華人
他今年的在CVPR的最佳論文獎 Deep Residual Learning for Image Recognition
也就是本篇新聞提到的"殘留聯繫"的來源處

他的論文中對於影像辨識的錯誤率只有       3.57%
          相對於人類對於相同影像的辨識是 5.1%

在residual connection的幫助下
GOOGLE已經在他們的類神經網路中大量使用residual connection了
我相信明年的Alpha Go應該更恐怖..



--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.224.16.136
※ 文章代碼(AID): #1Nw-KTiS (Gossiping)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1475077405.A.B1C.html
※ 同主題文章:
　 09-28 22:41 IN. ■ [新聞] Google發布類神經機器翻譯 翻譯品質接近
● 09-28 23:43 followwar. ■ Re: [新聞] Google發布類神經機器翻譯 翻譯品質接近
推 Leoreo: 該挖個核彈防空壕了1F 09/28 23:44
→ amaki: LSTM如果用在政治、金融、戰爭...可能可以決定歷史演進方向2F 09/28 23:45
推 ray2501: Good3F 09/28 23:45
→ zzro: 即時口譯...? 目標是做出比人類完美的機器人還差不多4F 09/28 23:45
→ amaki: 看過電影模仿遊戲就能明白數學模型決定了歷史的方向5F 09/28 23:46
推 orze04: 不可能 光看自駕車車禍就知道了6F 09/28 23:46
→ gt069802: 真猛…未來人力需求？？7F 09/28 23:46
→ Tattoo: Google 根本天網。apple吃屎8F 09/28 23:46
→ orze04: 自駕車AI把其他車輛駕駛都當正常人 結果就是被撞9F 09/28 23:47
自駕車目前使用的類神經網路比起這篇的還算陽春
GOOGLE應該積極在改進了
推 wl2340167: 聽了一下 中文的還是滿GOOGLE小姐的10F 09/28 23:47
我先猜是中文的訓練資料太少了XD
推 doggy1985: 還有幾集可以逃？11F 09/28 23:48
推 JoeyChen: deepmind好強12F 09/28 23:51
推 storyo11413: 還好偶沒做靜態圖片 科科13F 09/28 23:52
推 haha98: google不4還有開發TPU 比GPU有效率ㄇ14F 09/28 23:52
推 hugh509: 微軟這部分怎麼樣??15F 09/28 23:54
→ amaki: 這類東西的研發需要海量的資料，微軟應該也在偷偷收集了16F 09/28 23:55
Kaiming He今年從微軟跳槽到facebook
→ ev331: 幹17F 09/28 23:55
推 Yijhen0525: google其實就是魔鬼終結者二的Cyberdyne吧！18F 09/29 00:04
推 bj45566: CVPR 兩次最佳論文獎真屌爆了… @@19F 09/29 00:04
根本神人
推 DWR: 各大軟體商跟社群網路平台資料都很多了，但G跟F最全面20F 09/29 00:05
推 sheepxo: 推 長知識21F 09/29 00:06
推 BIGETC: 最終大魔王22F 09/29 00:07
推 hizerg: 這太恐怖了23F 09/29 00:07
推 Csy065: 類神經的隱藏層未必越多越好，演算速度，over fitting等24F 09/29 00:08
→ Csy065: 狀況 不過估狗一堆怪物，應該可以解決
residual connection就是來解決隱藏層越多不會越好的問題
推 hiimjack: Deep learning真的太神26F 09/29 00:10
推 hoshi1992: 有很多奇怪的邏輯閘可以用啊27F 09/29 00:12
※ 編輯: followwar (125.224.16.136), 09/29/2016 00:20:09
推 h73o1012: 要被電腦統治了 人類終於能自由了28F 09/29 00:34
推 attis: 看來最先受到衝擊的應該是政客29F 09/29 00:36
推 willion003: 啊發夠，稱霸棋壇30F 09/29 00:37
推 bj45566: 剛查了一下資料：何愷明，廣東省高考理科狀元，大學就讀31F 09/29 00:46
→ bj45566: 於北京清華，碩博班就讀於香港中文大學（？）
→ bj45566: （上行打問號是博班不確定...）現在確定博班也是中文大學
→ bj45566: 看來台灣和香港的 CS 實力差距越來越大了... @@
推 bj45566: 香港的高等教育真的很成功，重點項目 e.g. CS 應數 金融
→ bj45566: 這廿年來向上爬升的速度相當驚人... sigh
噓 yannjiunlin: 可一堆東西都亂翻成視訊~還有根本沒有的詞視頻= =37F 09/29 01:34
推 XDDDpupu5566: 大神真的強！38F 09/29 01:36
推 aghgna:39F 09/29 02:47
推 colin810106: 9.2:美國要被中國趕上了40F 09/29 03:06
推 qr1348: 幹那我念這麼多年日文系唸爽的唷41F 09/29 05:03
推 SHIU0315: @@42F 09/29 08:44

--
※ 看板: Gossiping　文章推薦值: 1 目前人氣: 0 累積人氣: 1738　
分享網址: 複製 已複製
(￣︶￣)ｂ vvanan 說讚！
r)回覆 e)編輯 d)刪除 M)收藏 ^x)轉錄 同主題: =)首篇 [)上篇 ])下篇