淺談Facebook圖片存儲系統HayStack概要
美國《紐約時報》網絡版今天撰文稱,一向鼓吹實名重要性的Facebook卻通過匿名方式散佈競爭對手谷歌的負面新聞,從而引發了一場公關危機。
以下為文章全文:
言行不一
Facebook似乎並不總是言行一致。
多年以來,Facebook CEO馬克·扎克伯格(Mark Zuckerberg)一直都在讚揚透明的美德,並且以這一標準來打造Facebook。這家社交網絡要求人們使用真實的身份註冊,因為扎克伯格說,他相信,如果不能以匿名方式隱藏自己的言行,人們的行為和社會都將變得更好。
“擁有兩個身份表明不夠誠懇。”扎克伯格說。
但現在,當Facebook試圖誘騙記者和技術專家撰文揭露其競爭對手谷歌的Social Circle搜索功能的隱私問題時,它卻隱藏了自己的身份。
在《每日野獸》(The Daily Beast)週三揭露出Facebook正是這一事件的幕後主使後,原本就因為隱私問題而久遭詬病的Facebook終於引火燒身。儘管仍有部分技術專家批評谷歌對隱私問題的響應不夠及時,但依舊沒有給Facebook帶來任何幫助。
“採用這種匿名方式顯然與Facebook長期以來倡導的價值相悖。”《Facebook效應》(The Facebook Effect)一書的作者大衛·柯克帕特里克(David Kirkpatrick)說,“感覺很偽善。”
Facebook辯解
儘管Facebook週四發布了簡短的道歉信,表示它從未有意從事或授權詆毀谷歌的行動,但批評的聲音依舊在矽谷和其他地方迴響。影響力頗高的美國科技博客TechCrunch要求Facebook給出更好的解釋,並將這種行為定性為“骯髒”和“卑鄙”。另外一家知名博客Inside Facebook則將此事稱作是“賠了夫人又折兵”。
美國科技博客Search Engine Land編輯丹尼·沙利文(Danny Sullivan)說:“無論Facebook作何解釋,這種誹謗行為都是一個污點。”
Facebook內部匿名人士表示,該公司之所以聘請著名的公關公司博雅公關(Burson-Marsteller)將Social Circle的問題散佈給記者,是因為不想牽扯到Facebook與穀歌的競爭。 Social Circle是谷歌搜索的一項可選功能,可以利用公開的社交網絡信息對搜索結果進行個性化。
在周四發表的聲明中,Facebook說:“我們想讓第三方來證實,人們並沒有批准谷歌Social Circle蒐集並使用他們在Facebook和其他服務中的信息。我們聘請博雅公關來關注這一問題,使用的都是現成的,而且可以被任何媒體獨立確認或分析的公開信息。這些問題很嚴重,我們應當以嚴肅而透明的方式將其呈現出來。”
矽谷和其他地方的企業都會經常性地與記者和分析師接觸,通報其競爭對手的所謂“不端行為”。但是新聞業和公關專家批評Facebook採用匿名方式開展這一行為,而且堅持要求博雅公關不要披露其身份。
“這完全不可接受。記者應當披露他們的身份,而那些與記者交易的人也必須要聲明自己的身份及其所屬機構。”美國加州大學伯克利分校新聞系教授、倫理學專家湯姆·戈爾茨坦(Tom Goldstein)說。
美國公關學會CEO羅莎娜·菲斯克(Rosanna M. Fiske)表示,Facebook堅持匿名的行為不當,博雅公關同意Facebook匿名的行為同樣不當。 “按照公關人員的基本操守,必須要拒絕這種行為。”她說。
負責報導此事的《每日野獸》記者丹·萊昂斯(Dan Lyons)對於假身份有著親身體會。他曾經多年偽裝成假史蒂夫·喬布斯(Steve Jobs),並時常利用博客抨擊記者、企業和公關人員。
競爭使然
Facebook的秘密計劃也凸顯出谷歌長期以來給該公司帶來的陰影。雖然Facebook在社交網絡領域完胜競爭對手,但該公司的高管一直都在擔心,谷歌會利用互聯網搜索市場的主導地位逐漸入侵Facebook的領地。值得一提的是,Facebook的許多高管都是從谷歌挖來的。
Social Circle似乎正是Facebook所擔心的功能。當谷歌用戶搜索“芝加哥的餐館”這樣的關鍵詞時,就可以看到好友在Facebook、 LinkedIn或Yelp上發布的相關信息。但要使用這項功能,必須要將谷歌賬戶與這些服務的賬戶相關聯,而且只能使用這些服務的公開信息。
作為博雅公關聯繫過的隱私專家之一、印第安納大學應用網絡安全中心研究員克里斯多夫·蘇格安(Christopher Soghoian)說:“我不認為這個功能有多大問題。如果Facebook不想讓數據公開,他們就可以停止分享,或者可以利用技術手段阻止谷歌訪問。”
當博雅公關拒絕透露他們為誰工作時,蘇格安卻公佈了他與博雅公關的代表之間的郵件。郵件顯示,博雅公關曾經試圖代替蘇格安撰寫意見文章,並以蘇格安的名義提交給各大報紙。
博雅公關發言人保羅·克達斯科(Paul Cordasco)表示,該公司犯了一個錯誤。 “錯誤顯然是沒有對客戶身份保持透明。”他週五接受媒體採訪時說。他還補充道,將對員工進行更多培訓,讓他們“充分意識到我們的責任,重視信息的透明性”。
Facebook絕非第一家匿名散佈競爭對手負面消息的個人或機構。這種行為在華盛頓的政治圈很常見,在矽谷也有著悠久的歷史。
例如,當微軟1998年遭到反壟斷監管者的審查時,一件事情的披露令該公司頗為尷尬。微軟曾經謀劃過一次行動,向全美各地的報紙編輯和評論版發布一些有利於該公司的信件,以此作為普通用戶的證詞提交給監管者。
兩年後,一家為甲骨文工作的公司被曝賄賂門衛,讓其檢查微軟支持的行業團體的垃圾箱,希望藉此找到對微軟不利的證據。
圖片存儲的幾個關鍵點:
1. Metadata信息存儲。由於圖片數量巨大,單機存放不了所有的Metadata信息,假設每個圖片文件的Metadata佔用100字節,260 billion圖片Metadata佔用的空間為260G * 100 = 26000GB。
2. 減少圖片讀取的IO次數。在普通的Linux文件系統中,讀取一個文件包括三次磁盤IO:讀取目錄元數據到內存,把文件的inode節點裝載到內存,最後讀取實際的文件內容。由於文件數太多,無法將所有目錄及文件的inode信息緩存到內存,因此磁盤IO次數很難達到每個圖片讀取只需要一次磁盤IO的理想狀態。
3. 圖片緩存。圖片寫入以後就不再修改,因此,需要對圖片進行緩存並且將緩存放到離用戶最近的位置,一般會使用CDN技術。
HayStack的主要目標:
1. High throughput and low latency(高吞吐量、低延時):簡化元數據結構與存儲模式,直接存儲文件在物理卷上的位置,減小lookup時間。
2. Fault-tolerant(容錯性):在不同的機器上維護多個副本
3. Cost-effective(高效):提高存儲空間利用率、提高請求處理效率。
4. Simple(簡單):易於實現和維護,部署週期短。
HayStack的總體架構:
Haystack的寫請求(圖片上傳)處理流程為:Web Server首先請求Haystack Directory獲取圖片的id和可寫的邏輯捲軸,接著將數據寫入對應的每一個物理捲軸(備份數一般為3)。
Haystack圖片讀取請求大致流程為:用戶訪問一個頁面時,Web Server請求Haystack Directory構造一個URL:後續根據各個部分的信息依次訪問CDN,Cache和後端的Haystack Store存儲節點。 Haystack Directory構造URL時可以省略部分從而使得用戶直接請求Haystack Cache而不必經過CDN。 Haystack cache收到的請求包含兩個部分:用戶Browser的請求及CDN的請求,Haystack cache只緩存用戶Browser發送的請求且要求請求的Haystack Store存儲節點是可寫的。一般來說,Haystack Store的存儲節點寫一段時間以後達到容量上限變為只讀,因此,可寫節點的圖片為最近增加的圖片,是熱點數據。
Haystack 刪除操作比較簡單,只是在Haystack 存儲的指針上設置一個已刪除標誌,已經刪除的指針和索引的空間並不回收。可通過定期的對物理捲進行合併,以回收已刪除的空間。
Haystack Directory的主要功能如下:
1, 提供邏輯捲軸到物理捲軸的映射,為寫請求分配圖片id;
2, 提供負載均衡,為寫操作選擇邏輯捲軸,讀操作選擇物理捲軸;
3, 屏蔽CDN服務,可以選擇某些圖片請求直接走HayStack Cache;
4, 標記某些邏輯捲軸為read-only;
HayStack中的圖片順序的存放在物理卷中,獲取圖片在物理卷中的偏移即可讀取圖片,圖片的存儲結構如下所示(每張圖片稱為一個needle)。
其中,key為圖片的唯一標示,alternate key為尺寸的標示,flag為刪除標誌,size為數據大小,data為實際的數據。
淺談Facebook圖片存儲系統HayStack概要
HayStack為每張圖片在內存中維護圖片與其位置的映射表,在圖片被寫入時更新映射關係,每次系統啟動時可通過讀取物理卷並構造映射表,但這樣做很耗時間,但HayStack通過為每張圖片構造index file來簡化了系統啟動時映射表的構建,index file的結構如下所示:(其主要包含key與對應圖片位置的映射關係,系統啟動時,通過讀取index file便能很快的構造映射表。)
淺談Facebook圖片存儲系統HayStack概要
HayStack的幾點優勢:
1. 採用輕量級的HayStack Directory維護邏輯捲到多個物理卷的映射關係,方便的實現了副本技術,以實現系統容錯。
2. 簡化文件的元數據結構,以追加寫的方式往物理卷中存儲圖片,效率高。同時將圖片key與位置的映射關係全部保留在內存中,通過一次lookup即可獲取圖片的位置。
3. 物理卷中所有的圖片都對應有index文件(固定大小,結構簡單),從而每次系統重啟時,物理卷的映射信息能快速的通過index文件構建。
4. 引入delete flag、compaction、batch upload以及進一步提高存儲的效率。
真愛旅舍視頻聊天室
回复删除真愛旅舍視頻聊天室
真愛旅舍視頻聊天室
6699視訊美女
上海聊天室交友
視訊美女聊天交友
視訊網絡聊天室第九視頻
九聊視頻
異性視頻交友
男人女人做愛視頻
視訊1905電影網在線觀看
電影在線觀看免費網
土豆網電影在線觀看
愛上擼綜合成人網
色人居情色網
亞洲xooo8綜合成人社區
人妻管理員2視頻
天天色成人綜合網
成人小說在線視頻
90後成人色情圖片
成人色系電影
狼群影院
伊人成人影院
久久色悠悠綜合網
天天色綜合區
操一操電影
色夜AV影院
色AV成人網
狼群影院
色也色
哥也色蝴蝶谷
咪咪影院
情色咪咪網
台灣甜心女孩視訊
漾美眉視訊交友
Q女孩真人視訊
真人秀視頻聊天室
真人秀視頻聊天室
免費寂寞交友聊天
台灣甜心辣妹視訊
台灣視訊聊天室破解
影音視訊聊天室
真人美女視頻交友
一對一免費視訊聊天室
台灣麗人視頻聊天室
台灣麗人視頻聊天室
真人秀聊天視頻網站
真人秀聊天視頻網站
免費午夜聊天室
免費午夜聊天室
在線視頻語音聊天室
在線視頻語音聊天室
免費語音視頻聊天室
免費語音視頻聊天室
同城視頻聊天室
同城視頻聊天室
視頻聊天網
視頻交友
真人勁歌熱舞
真愛旅舍
視頻交友
視頻交友
真愛旅舍視頻聊天室
回复删除裸聊直播間-夫妻真人秀視頻聊天室-真愛旅舍
裸聊直播間-夫妻真人秀視頻聊天室-真愛旅舍
免費寂寞交友聊天室-性感美女短裙快播視頻,美女視訊做皇帝俱樂部
免費聊天室網站-擼客綜合網在線視頻,美女視訊直播
視頻聊聊天室-AV視頻在線觀看,真人美女視訊直播
免費午夜激情聊天室-三級歌舞團演出視頻,美女視訊54gymm
裸體交友聊天-女人毛片視頻在線觀看,美女視訊戀愛ing
夫妻視頻的qq群-成人快播毛片網站,美女視訊超級賣
超碰人人碰視頻-韓國毛片視頻高清,美女視訊室
人人碰在線視頻-免費毛片快播A片,台灣美女視訊
人人碰成人社區-毛片群視頻-免費同城交友裸聊室,美女視訊
人人碰免費視頻-完全免費在線AV視頻,國外視訊美女
免費成人視頻FC2視頻-免費A片網站,國外視訊美女
QQ愛真人視頻交友聊天室-完全免費在線AV視頻
QQ真人視訊交友網-免費A片網站,韓國視訊美女
天上人間聊天視頻-日本毛片視頻在線觀看,日本視訊美女聊天
163聊免費聊天室-真人美女黃片視頻,173視訊
六間房視頻聊天室-色視頻高清在線觀看,173視訊聊天
我秀聊天室-馬上色在視頻網,173視訊聊天交友網
我秀美女主播-胖老婆人人摸視頻-性愛裸聊直播間,173視訊live
我秀視頻聊天-超碰人人摸網在線視頻,173視訊美女
視頻交友互動平台-人人碰人人摸視頻,173視訊網
台灣真人秀全集視頻-人人摸視頻在線,173視訊妹
視頻聊天室真人秀場-人人摸視頻網,173 live 視訊
多人視頻交友聊天室-人人碰成人視頻,173免費視訊
視頻交友真人秀-快播人妻視頻-免費進入裸聊室網址,影音視訊
韓國美女主播真人秀-免費在線成人視頻,0401影音視訊
視頻交友社區-超碰免費在線成人視頻,影音視訊聊聊天室
免費真人秀多人視頻-日本免費黃色視頻,影音視訊聊天
男人和美女親熱視頻-免費的黃色網站,影音視訊聊天網
性感美女QQ真人秀視頻-免費的色情網站,ut影音視訊
美女真人秀視頻唱歌-caoporn超碰在線視頻,影音視訊戀愛ing
澳門美女真人秀視頻-FC2免費共享視頻,影音視訊聊天 live 秀
美女真人秀視頻六房間-FC2成人視頻絲襪,視訊影音
真人秀視頻網站-俺去也成人視頻免費在線播放,影音視訊美女聊天ving
美女真人秀視頻網站-俺去也咪咪成人視頻,免費影音視訊
情趣內衣真人秀-女同激情舌吻視頻,1007 影音視訊交友網
台灣真人秀視頻-夜射貓成人在線視頻,momo520視訊美女
美女真人秀視頻-操我成人電影絲襪黃色視頻,金瓶美視訊美女
夫妻真人秀視頻軟件-成人午夜色情視頻,成人視訊
293真人秀視頻聊天室-視頻成人色情網站,影音視訊聊天室
網頁真人秀場聊天室-91成人情色視頻網站,視訊聊天室