淺談Facebook圖片存儲系統HayStack概要

淺談Facebook圖片存儲系統HayStack概要
美國《紐約時報》網絡版今天撰文稱，一向鼓吹實名重要性的Facebook卻通過匿名方式散佈競爭對手谷歌的負面新聞，從而引發了一場公關危機。

　　以下為文章全文：

　　言行不一

　　Facebook似乎並不總是言行一致。

多年以來，Facebook CEO馬克·扎克伯格(Mark Zuckerberg)一直都在讚揚透明的美德，並且以這一標準來打造Facebook。這家社交網絡要求人們使用真實的身份註冊，因為扎克伯格說，他相信，如果不能以匿名方式隱藏自己的言行，人們的行為和社會都將變得更好。

“擁有兩個身份表明不夠誠懇。”扎克伯格說。

但現在，當Facebook試圖誘騙記者和技術專家撰文揭露其競爭對手谷歌的Social Circle搜索功能的隱私問題時，它卻隱藏了自己的身份。

在《每日野獸》(The Daily Beast)週三揭露出Facebook正是這一事件的幕後主使後，原本就因為隱私問題而久遭詬病的Fac​​ebook終於引火燒身。儘管仍有部分技術專家批評谷歌對隱私問題的響應不夠及時，但依舊沒有給Facebook帶來任何幫助。

“採用這種匿名方式顯然與Facebook長期以來倡導的價值相悖。”《Facebook效應》(The Facebook Effect)一書的作者大衛·柯克帕特里克(David K​​irkpatrick)說，“感覺很偽善。”

　　Facebook辯解

儘管Facebook週四發布了簡短的道歉信，表示它從未有意從事或授權詆毀谷歌的行動，但批評的聲音依舊在矽谷和其他地方迴響。影響力頗高的美國科技博客TechCrunch要求Facebook給出更好的解釋，並將這種行為定性為“骯髒”和“卑鄙”。另外一家知名博客Inside Facebook則將此事稱作是“賠了夫人又折兵”。

美國科技博客Search Engine Land編輯丹尼·沙利文(Danny Sullivan)說：“無論Facebook作何解釋，這種誹謗行為都是一個污點。”

Facebook內部匿名人士表示，該公司之所以聘請著名的公關公司博雅公關(Burson-Marsteller)將Social Circle的問題散佈給記者，是因為不想牽扯到Facebook與穀歌的競爭。 Social Circle是谷歌搜索的一項可選功能，可以利用公開的社交網絡信息對搜索結果進行個性化。

在周四發表的聲明中，Facebook說：“我們想讓第三方來證實，人們並沒有批准谷歌Social Circle蒐集並使用他們在Facebook和其他服務中的信息。我們聘請博雅公關來關注這一問題，使用的都是現成的，而且可以被任何媒體獨立確認或分析的公開信息。這些問題很嚴重，我們應當以嚴肅而透明的方式將其呈現出來。”

矽谷和其他地方的企業都會經常性地與記者和分析師接觸，通報其競爭對手的所謂“不端行為”。但是新聞業和公關專家批評Facebook採用匿名方式開展這一行為，而且堅持要求博雅公關不要披露其身份。

“這完全不可接受。記者應當披露他們的身份，而那些與記者交易的人也必須要聲明自己的身份及其所屬機構。”美國加州大學伯克利分校新聞系教授、倫理學專家湯姆·戈爾茨坦(Tom Goldstein)說。

美國公關學會CEO羅莎娜·菲斯克(Rosanna M. Fiske)表示，Facebook堅持匿名的行為不當，博雅公關同意Facebook匿名的行為同樣不當。 “按照公關人員的基本操守，必須要拒絕這種行為。”她說。

負責報導此事的《每日野獸》記者丹·萊昂斯(Dan Lyons)對於假身份有著親身體會。他曾經多年偽裝成假史蒂夫·喬布斯(Steve Jobs)，並時常利用博客抨擊記者、企業和公關人員。

　　競爭使然

Facebook的秘密計劃也凸顯出谷歌長期以來給該公司帶來的陰影。雖然Facebook在社交網絡領域完胜競爭對手，但該公司的高管一直都在擔心，谷歌會利用互聯網搜索市場的主導地位逐漸入侵Facebook的領地。值得一提的是，Facebook的許多高管都是從谷歌挖來的。

Social Circle似乎正是Facebook所擔心的功能。當谷歌用戶搜索“芝加哥的餐館”這樣的關鍵詞時，就可以看到好友在Facebook、 LinkedIn或Yelp上發布的相關信息。但要使用這項功能，必須要將谷歌賬戶與這些服務的賬戶相關聯，而且只能使用這些服務的公開信息。

作為博雅公關聯繫過的隱私專家之一、印第安納大學應用網絡安全中心研究員克里斯多夫·蘇格安(Christopher Soghoian)說：“我不認為這個功能有多大問題。如果Facebook不想讓數據公開，他們就可以停止分享，或者可以利用技術手段阻止谷歌訪問。”

當博雅公關拒絕透露他們為誰工作時，蘇格安卻公佈了他與博雅公關的代表之間的郵件。郵件顯示，博雅公關曾經試圖代替蘇格安撰寫意見文章，並以蘇格安的名義提交給各大報紙。

博雅公關發言人保羅·克達斯科(Paul Cordasco)表示，該公司犯了一個錯誤。 “錯誤顯然是沒有對客戶身份保持透明。”他週五接受媒體採訪時說。他還補充道，將對員工進行更多培訓，讓他們“充分意識到我們的責任，重視信息的透明性”。

Facebook絕非第一家匿名散佈競爭對手負面消息的個人或機構。這種行為在華盛頓的政治圈很常見，在矽谷也有著悠久的歷史。

例如，當微軟1998年遭到反壟斷監管者的審查時，一件事情的披露令該公司頗為尷尬。微軟曾經謀劃過一次行動，向全美各地的報紙編輯和評論版發布一些有利於該公司的信件，以此作為普通用戶的證詞提交給監管者。

兩年後，一家為甲骨文工作的公司被曝賄賂門衛，讓其檢查微軟支持的行業團體的垃圾箱，希望藉此找到對微軟不利的證據。
　　圖片存儲的幾個關鍵點：

　　1. Metadata信息存儲。由於圖片數量巨大，單機存放不了所有的Metadata信息，假設每個圖片文件的Metadata佔用100字節，260 billion圖片Metadata佔用的空間為260G * 100 = 26000GB。

　　2. 減少圖片讀取的IO次數。在普通的Linux文件系統中，讀取一個文件包括三次磁盤IO：讀取目錄元數據到內存，把文件的inode節點裝載到內存，最後讀取實際的文件內容。由於文件數太多，無法將所有目錄及文件的inode信息緩存到內存，因此磁盤IO次數很難達到每個圖片讀取只需要一次磁盤IO的理想狀態​​。

　　3. 圖片緩存。圖片寫入以後就不再修改，因此，需要對圖片進行緩存並且將緩存放到離用戶最近的位置，一般會使用CDN技術。

　　HayStack的主要目標：

1. High throughput and low latency(高吞吐量、低延時)：簡化元數據結構與存儲模式，直接存儲文件在物理卷上的位置，減小lookup時間。

2. Fault-tolerant(容錯性)：在不同的機器上維護多個副本

3. Cost-effective(高效)：提高存儲空間利用率、提高請求處理效率。

4. Simple(簡單)：易於實現和維護，部署週期短。

　　HayStack的總體架構：

Haystack的寫請求(圖片上傳)處理流程為：Web Server首先請求Haystack Directory獲取圖片的id和可寫的邏輯捲軸，接著將數據寫入對應的每一個物理捲軸(備份數一般為3)。

Haystack圖片讀取請求大致流程為：用戶訪問一個頁面時，Web Server請求Haystack Directory構造一個URL：後續根據各個部分的信息依次訪問CDN，Cache和後端的Haystack Store存儲節點。 Haystack Directory構造URL時可以省略部分從而使得用戶直接請求Haystack Cache而不必經過CDN。 Haystack cache收到的請求包含兩個部分：用戶Browser的請求及CDN的請求，Haystack cache只緩存用戶Browser發送的請求且要求請求的Haystack Store存儲節點是可寫的。一般來說，Haystack Store的存儲節點寫一段時間以後達到容量上限變為只讀，因此，可寫節點的圖片為最近增加的圖片，是熱點數據。

Haystack 刪除操作比較簡單，只是在Haystack 存儲的指針上設置一個已刪除標誌，已經刪除的指針和索引的空間並不回收。可通過定期的對物理捲進行合併，以回收已刪除的空間。

　　Haystack Directory的主要功能如下：

1, 提供邏輯捲軸到物理捲軸的映射，為寫請求分配圖片id;

2, 提供負載均衡，為寫操作選擇邏輯捲軸，讀操作選擇物理捲軸;

3, 屏蔽CDN服務，可以選擇某些圖片請求直接走HayStack Cache;

　　4, 標記某些邏輯捲軸為read-only;

HayStack中的圖片順序的存放在物理卷中，獲取圖片在物理卷中的偏移即可讀取圖片，圖片的存儲結構如下所示(每張圖片稱為一個needle)。

其中，key為圖片的唯一標示，alternate key為尺寸的標示，flag為刪除標誌，size為數據大小，data為實際的數據。

淺談Facebook圖片存儲系統HayStack概要

HayStack為每張圖片在內存中維護圖片與其位置的映射表，在圖片被寫入時更新映射關係，每次系統啟動時可通過讀取物理卷並構造映射表，但這樣做很耗時間，但HayStack通過為每張圖片構造index file來簡化了系統啟動時映射表的構建，index file的結構如下所示：(其主要包含key與對應圖片位置的映射關係，系統啟動時，通過讀取index file便能很快的構造映射表。)

淺談Facebook圖片存儲系統HayStack概要

　　HayStack的幾點優勢：

1. 採用輕量級的HayStack Directory維護邏輯捲到多個物理卷的映射關係，方便的實現了副本技術，以實現系統容錯。

2. 簡化文件的元數據結構，以追加寫的方式往物理卷中存儲圖片，效率高。同時將圖片key與位置的映射關係全部保留在內存中，通過一次lookup即可獲取圖片的位置。

3. 物理卷中所有的圖片都對應有index文件(固定大小，結構簡單)，從而每次系統重啟時，物理卷的映射信息能快速的通過index文件構建。

4. 引入delete flag、compaction、batch upload以及進一步提高存儲的效率。