经过一年奋战无人不知无人不晓，小红书已把业界体量最大的数据湖0故障迁上阿里云。据统计，该名堂共有1500东说念主参与，迁徙数据500PB。

看成中国头部互联网公司之一，小红书月活已过3亿，其数据湖存储了以前11年的所有原始数据，包括结构化、半结构化和非结构化数据。连年来，跟着业务的高速增长，小红书在线处理数据的需求不休加多，同期离线处理所蕴蓄的历史问题，也会在畴昔的切换中带来更多资本与风险。

为此，2023年11月，小红书发起迁云名堂——谋略一年内，把小红书的数据湖搬上阿里云。

迁徙至阿里云上后，数据湖可通过多个OSS Bucket因循纳入谐和资源池，完了多个Bucket分享资源池内的OSS糊涂及QPS智力。这么的流控智力在面向小红书复杂业务场景，可生动调配资源，高效诈欺糊涂性能，镌汰不同行务田户间的相互影响。阿里云原生HDFS+DLA元数据可完了无缝对接Hadoop EMR体系，因循元数据线性彭胀智力，浪漫搪塞小红书数百PB数据下的元数据线性增长。

较于过往业界体量最大的案例，小红书的本次迁徙的数据体量更大。

*注：任务=数据处理经过

（图片来自小红书官方公众号）

据先容，小红书的迁云名堂资格了三个阶段。第一步，名堂组率先贬责设施问题，然后说明设施进行料理；第二步，完成料理后，名堂在2024年5月负责参加双跑阶段。把数据拷贝到阿里云上，双方同期跑数，考据正确性与实时性；第三步，2024年8月，名堂截止双跑，参加割接阶段。阿里云团队全程在现场保险，胜利完成了割接。

2024年11月，小红书迁云名堂负责宣告截止。在0故障的情况下，迁徙数据500PB，任务11万，参与东说念主数1500东说念主，触及部门40多个。名堂触及产物之多和数据体量之大均创下业界记载。

蕾蕾  小风无人不知无人不晓