※ 本文為 MindOcean 轉寄自 ptt.cc 更新時間: 2019-11-12 16:46:58
看板 Gossiping
作者 標題 [問卦] google資料中心的硬碟為啥比較快阿
時間 Tue Nov 12 16:02:14 2019
如題
本魯在網路上看硬碟的時候,突然想到一件事情
google大部分的資料中心還是用HDD吧
但HDD以7200轉來說最高速度頂多180MB/s
就算是SSD速度也頂多600MB/s
就算網路再快也不可能突破物理極限 對吧
之前有看到google資料轉移好像只需要三天
那問題來了google資料中心隨便都PB起跳,那他們是如何達成資料快速轉移的過程阿
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.161.202.190 (臺灣)
※ 文章代碼(AID): #1TocS9Zh (Gossiping)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1573545737.A.8EB.html
推 : 五樓肛門黑科技做到的1F 42.76.94.33 台灣 11/12 16:02
→ : 磁碟陣列2F 42.72.29.113 台灣 11/12 16:02
噓 : 你以為只有一個硬碟嗎3F 126.250.14.196 日本 11/12 16:02
推 : 陣列4F 218.164.171.16 台灣 11/12 16:03
→ : 雇用特種小精靈 專門訓練過的5F 123.51.142.8 台灣 11/12 16:03
推 : 查RAID怎麼運作6F 114.40.0.231 台灣 11/12 16:03
→ : 據說ptt一開始真的是宿舍裡的幾個硬碟7F 101.15.212.197 台灣 11/12 16:03
→ : CDN8F 61.221.161.18 台灣 11/12 16:03
→ : 坐飛機阿9F 1.165.44.61 台灣 11/12 16:04
推 : 傳統SCSI都萬轉起跳了 google那財力搞10F 111.82.180.188 台灣 11/12 16:04
→ : 報告自己做11F 223.138.93.38 台灣 11/12 16:04
→ : 不好全塞客製化大容量NVME12F 111.82.180.188 台灣 11/12 16:04
推 : ptt以前可以贊助捐硬碟 會收13F 42.72.29.113 台灣 11/12 16:04
推 : 精英小精靈14F 58.114.22.114 台灣 11/12 16:04
→ : 不用據說呀 一堆BBS站一開始都是個人電腦15F 218.164.171.16 台灣 11/12 16:04
噓 : 你在睡覺的時候人家還在上班轉移16F 101.15.197.164 台灣 11/12 16:05
→ : 這就是為什麼 你進不了google
→ : 這就是為什麼 你進不了google
→ : 你不知道股溝的文件小精靈都是經過特訓18F 180.204.40.142 台灣 11/12 16:05
→ : 拿global pay的精英嗎？
→ : 拿global pay的精英嗎？
推 : SSD20F 61.58.175.40 台灣 11/12 16:06
推 : 直接把硬碟搬走啊21F 111.71.71.61 台灣 11/12 16:07
推 : RAID22F 42.75.187.229 台灣 11/12 16:08
噓 : 文組真的養一堆智障嗎？23F 223.140.70.44 台灣 11/12 16:09
→ : 有種東西叫做Raid =___=24F 114.45.58.170 台灣 11/12 16:10
推 : 用貨車25F 42.75.137.168 台灣 11/12 16:11
推 : 而且你的SSD速度還是SATA3的 PCIE的速度..26F 220.133.170.196 台灣 11/12 16:11
推 : Google File System27F 203.203.203.201 台灣 11/12 16:12
→ : 先天設計就是分散式的 不只是 RAID
→ : 先天設計就是分散式的 不只是 RAID
→ : 有raid 而且ssd遠不止600MB/s 那是接口的29F 180.217.151.183 台灣 11/12 16:15
→ : 極限
→ : 極限
推 : 不一定全部HDD，加入SSD可以當快取31F 111.82.172.95 台灣 11/12 16:16
推 :32F 211.75.123.94 台灣 11/12 16:17
推 : SSD已經有資料中心在用了 QLC就是標榜適合33F 114.45.58.170 台灣 11/12 16:17
→ : 資料中心大量讀取用的
→ : 資料中心大量讀取用的
推 : google 雲層上工作室有小精靈 不眠不休35F 122.116.230.122 台灣 11/12 16:20
→ : 在雲上搬來搬去啊
→ : 在雲上搬來搬去啊
噓 : 你在打這篇廢文的同時，人家在努力搬37F 122.146.248.21 台灣 11/12 16:20
噓 : 三天你跟我說快?38F 61.57.231.229 台灣 11/12 16:22
推 : 用SSD緩衝再放進HDD39F 140.114.18.128 台灣 11/12 16:25
噓 : Raid40F 111.71.38.59 台灣 11/12 16:26
推 : 人家用的ssd還是天天寫入好幾倍容量41F 110.26.204.251 台灣 11/12 16:28
→ : 還能撐5年的那種
→ : 還能撐5年的那種
推 : 人家小精靈有練過的43F 114.27.107.159 台灣 11/12 16:29
推 : 作業系統有教44F 36.239.208.140 台灣 11/12 16:31
推 : 一顆硬碟寫入100 十顆不就100045F 111.71.38.59 台灣 11/12 16:32
噓 : RAID(磁碟陣列)，你可以自己查一下46F 61.221.66.178 台灣 11/12 16:37
--
1樓 時間: 2019-11-12 17:37:23 (台灣)
→
11-12 17:37 TW
假設檔案內容是 ABCDE，共 5 GiB。把它拆開成 A、B、C、D、E 五段，分別儲入五顆硬碟，每顆硬碟只須儲存 1 GiB，故乍看下儲存速度提昇了五倍。這是 RAID 的幾種架構之一，強調速度的一種。另外有強調安全性的，也就是會自動備份，以免某顆硬碟壞軌時資料喪失。
2樓 時間: 2019-11-12 17:43:42 (台灣)
→
11-12 17:43 TW
另外還有一種速度更快，就是 ramdisk，比 SSD 還快。ramdisk 是把多餘的記憶體(RAM)拿出來當硬碟用，但如果斷電的話資料就沒了。在 Linux 內，它的 filesystem type 是 tmpfs。用 torrent 抓片片時，我都用 ramdisk 暫存，免得頻繁讀寫硬碟降低硬碟壽命。
回列表(←)
分享