---

※註:有電視或媒體有報導者，請勿使用爆卦! 未滿20字 一行文 退文

不知道用【爆卦】合不合適，如果不妥麻煩版主提醒。

先上結果

八卦版文章標題文字雲圖：

http://i.imgur.com/H1z5c6T.png

--------------以下說明製作過程----------------

小弟整理了一份針對八卦版的機器學習辭典。

簡單說，就是一份文檔裡面包含了詞彙、詞頻，跟詞性

在機器學習的時候可以幫助斷詞。

大概長這樣：

(詞彙) (詞頻) (詞性)
柯建銘 11 nr
豬哥亮 314 nr
川習會 53 n
判死 24 v
自冉 35 a
林奕含 15 nr
IP 13 n
優格 156 n
.....

格式比照結巴中文分詞(jieba)的辭典，這樣可以簡單的作為自定義辭典使用。

細節見連結 https://github.com/fxsjy/jieba

製作方法分成幾步：

1. 下載文章

   用Python scrapy爬下八卦版2017年1月1日到7月3日的文章。

   在此只採用標題文字。因為內容文字太多了，分析起來不方便。

   而且標題的文字比較多變，比較有分析價值。

2. 計算常一起出現的字元組(高頻n-gram)

   例如"一例一休"，就可以拆解成：

   "一例"、"例一"、"一休"，三個2-gram

   "一例一"、"例一休"， 兩個3-gram

   "一例一休"，一個4-gram

   計算出現頻率高的字元組，再扣掉包含在長字裡的短字

   就可以得到潛在的新詞彙。

3. 比對辭典

   當然，透過上述方法得到的詞彙，有許多是已經列在機器學習辭典裡的

   所以比對一下現有辭典，扣掉重複的，就是新詞彙囉！

4. 人工檢查

   用上述演算法得到1331個新詞彙。人工檢查後刪掉一些不成詞的

   例如："100萬"、"的卦"、"我的"

   最後整理出691個新詞彙。人工標上詞性(這步驟超累~~)，就是八卦版辭典囉！

整理完的字典依據辭頻排列(只列出辭頻>300的)：

http://i.imgur.com/0d9nMP8.png

最後，用辭典將八卦版2017上半年所有文章標題做斷辭，並用Python wordcloud繪製文字
雲圖。

辭典文檔以及code可以在我的Github下載

https://github.com/daviden1013/PTTdictionary/blob/master/PTTdictionary.txt

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 108.176.209.137
※ 文章代碼(AID): #1PNRfT4M (Gossiping)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1499314781.A.116.html