---

原文恕刪

我進入職場後才發現

還是真的有些資訊人對機器學習或資料探勘認識不多

而且原po文底下對text領域的推文好像比較少

所以我簡單分享一下我的領域還有實際應用

我研究所是做text mining, word embedding, topic model(LDA), NLP

(拜託公司有缺人做這塊的請聯絡我XDD)


e.g. 1  LDA->推薦系統

LDA簡單來講就是分群 業界最常用的就是推薦系統

某家新創電商用LDA做推薦系統 在原本的計算能力下

推薦的命中率從原本的10%提升到45%~50%之間


e.g. 2  LDA+social network -> 熱門議題發掘

這是小魯做的研究之一

我們那時候跟某公司合作 挖掘社群網站內重要的議題

會依照不同人在社群內的領導性 迭代計算熱門程度及重要性

後來實際運用是新產品推廣和輿情分析 儘早發現對公司不利的言論以利後續滅火


e.g. 3   NLP -> 聊天問答機器人

這個是我現在主要做的領域

要處理的是對特定項目進行了解 還有給予使用者建議

這個其實蠻實際的 對組織來說 如何完整記載資訊還有提供給需要的人使用

這件事情一直都是人工處理

有這套系統後 員工遇到問題可以直接向機器人尋求協助

這可以降低溝通成本及加快開發效率


e.g. 4 word embedding -> 機器翻譯

傳統上對文字的處理大多是用one-hot的方式做輸入

不過很容易遇到維度太大 而且罕見詞浪費空間等問題

word embedding簡單來說就是可以把所有文字轉成固定大小的矩陣來處理

例如 queen = [0.1,0.5,0.2] king = [0.4,0.1,0.7] .....

那他神奇的地方在於 轉完的矩陣有關聯性

例如
        I am starving ~ I am hungry (這個要額外做處理)

對不同文字間 可以再用NN做轉換就變成


不過這套目前還有一些問題還沒被解決


以上這四個例子其實都很常見

而且很難用非機器學習(可能不是NN)的方式得到更好的結果

簡單來說 機器學習在"無法簡單定義流程"的地方 通常可以獲得更好的成效

以上是我在這領域待3年左右的分享

不過我剛上班沒多久 看的可能比較狹隘

其他還請強者補充XD



--
  Sent from my CASIO fx-991es .

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.227.49.28
※ 文章代碼(AID): #1OZ3H0Lp (Soft_Job)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1485583424.A.573.html