小紅書將業界最大數據湖0故障遷上阿里雲

三言科技 11月6日消息,據“阿里雲”公衆號消息,最近,小紅書技術團隊把業界最大數據湖0故障遷上阿里雲。

據介紹,2023年11月,小紅書發起遷雲項目——計劃一年內,把小紅書的數據湖搬上阿里雲。2024年11月,小紅書遷雲項目正式宣告結束。在沒有故障的情況下,遷移數據500PB,任務11萬。參與人數1500人,涉及部門40多個。

遷移至阿里雲上後,數據湖可通過多個OSS Bucket支持納入統一資源池,實現多個Bucket共享資源池內的OSS吞吐及QPS能力。這樣的流控能力在面向小紅書複雜業務場景,可靈活調配資源,高效利用吞吐性能,降低不同業務租戶間的互相影響。