Gạch lát sàn đục lỗ: Hướng dẫn tối ưu hóa luồng không khí

Hãy thành thật trong một giây. Bạn đã chi hàng triệu USD cho máy chủ, thiết bị chuyển mạch và bộ lưu trữ nhưng trung tâm dữ liệu của bạn vẫn kêu như tiếng động cơ phản lực và thiết bị của bạn quá nóng. Vấn đề là gì? Nó thường ở ngay dưới chân bạn—gạch lát sàn nâng cao của bạn. Cụ thể là những cái đục lỗ. Nếu bạn không sử dụng đúng các loại gạch này, hóa đơn làm mát của bạn sẽ tăng vọt và thiết bị CNTT của bạn sẽ hoạt động chậm lại. Trong hướng dẫn này, tôi sẽ chỉ cho bạn mọi thứ bạn cần biết về gạch lát sàn nâng đục lỗ để khắc phục luồng không khí trong nhà. Hãy bắt đầu.

Tại sao Trung tâm dữ liệu của bạn giống như một phòng tắm hơi

Bạn đã bao giờ bước vào phòng máy chủ và cảm thấy một luồng khí nóng chưa? Nó không vui chút nào. Hầu hết các nhà quản lý nghĩ rằng việc bật điều hòa là giải pháp. Nhưng điều đó cũng giống như cố gắng làm mát ngôi nhà của bạn bằng cách để cửa trước mở - bạn chỉ đang lãng phí năng lượng. Gạch lát sàn đục lỗ là người gác cổng không khí lạnh. Họ lấy không khí lạnh từ dưới sàn và dẫn nó vào các lối đi lạnh lẽo. Nếu những viên gạch đó được chọn hoặc đặt không đúng cách, không khí sẽ thoát ra qua các lỗ cáp, rò rỉ xung quanh các khớp không được bịt kín hoặc thoát ra ngoài với áp suất rất nhỏ đến mức gần như không đến được máy chủ của bạn. Chúng ta cần khắc phục điều đó. Hôm nay, chúng tôi sẽ biến bạn thành chuyên gia về luồng không khí.

Gạch lát sàn đục lỗ là gì?

Nói một cách đơn giản, đây là những tấm sàn có lỗ. Chúng thay thế các tấm cứng ở một số vị trí nhất định của trung tâm dữ liệu trên sàn nâng. Trong khi các tấm cứng giữ không khí lạnh đi xuống, những tấm này cho phép không khí lạnh lưu thông đến máy chủ của bạn. Chúng có chất liệu bằng thép, nhôm hoặc composite. Chìa khóa không chỉ là các lỗ - đó là hình dạng lỗ. Một số có lỗ tròn; một số có lỗ thông hơi góc cạnh hướng luồng không khí trực tiếp. Nhưng đối với hầu hết các trung tâm dữ liệu, ô lỗ tròn tiêu chuẩn vẫn hoạt động tốt. Nếu không có những ô này, người hâm mộ máy chủ của bạn sẽ gặp khó khăn để có đủ không khí.

Cách thức hoạt động của các lỗ: Giải thích tỷ lệ thủng

Chúng ta hãy tìm hiểu một chút về kỹ thuật trong một phút. Bạn sẽ nghe thấy thuật ngữ 'Tỷ lệ phần trăm diện tích mở' - đó chỉ là tổng diện tích lỗ chia cho tổng diện tích ô xếp. Ví dụ: một viên gạch có diện tích mở 25% có nghĩa là 75% trong số đó vẫn ở dạng rắn. Con số này ảnh hưởng đến áp suất không khí và lưu lượng. Đây là thách thức: quá nhiều lỗ với áp suất thấp = không khí thoát ra quá chậm. Quá ít lỗ với áp suất cao = không khí bắn ra như vòi cứu hỏa nhưng không đủ không gian. Đó là tất cả về sự cân bằng. Bạn cần có đủ lực cản để phân tán không khí đều đến tất cả các viên gạch, nhưng không quá nhiều đến mức bộ phận làm mát của bạn phải vật lộn để chống lại điều đó.

Gạch đặc và gạch đục lỗ: Cái nào thắng?

Gạch đặc là những loại gạch nhàm chán và đáng tin cậy. Họ niêm phong sàn nhà. Bạn bước đi trên chúng, bạn đặt giá đỡ lên chúng. Công việc của họ là giữ không khí lạnh xuống. Gạch đục lỗ thì khác - công việc của chúng là đưa không khí lạnh lên. Sai lầm lớn nhất? Sử dụng gạch đục lỗ ở nơi không có thiết bị. Nếu bạn đặt một tấm gạch có lỗ thông hơi ở lối đi nóng, không khí nóng từ máy chủ sẽ quay trở lại lỗ đó và trộn với không khí lạnh bên dưới. Điều đó thật tệ.

Quy tắc đơn giản: Sử dụng gạch đặc ở mọi nơi, ngoại trừ lối đi lạnh lẽo ngay trước quạt hút máy chủ của bạn.

Tại sao phải khắc phục vấn đề về luồng không khí

Bỏ qua luồng không khí là tốn kém. Vấn đề không chỉ là hóa đơn tiền điện tăng cao—mà còn là về tuổi thọ máy chủ của bạn. Mỗi lần tăng nhiệt độ 10°C (18°F) có thể làm giảm tuổi thọ phần cứng xuống một nửa. Gạch đục lỗ là loại bảo hiểm rẻ nhất bạn có thể mua. Khi bạn đặt và chọn chúng một cách chính xác, bạn thực sự có thể tăng bộ điều chỉnh nhiệt của mình. Vâng, bạn đọc đúng. ASHRAE (nhóm tiêu chuẩn làm mát) hiện khuyến nghị nhiệt độ cao hơn—thường là 75-80°F—nếu luồng khí được quản lý tốt. Điều đó tiết kiệm rất nhiều tiền cho việc làm mát. Vì vậy, việc sửa gạch không chỉ làm mát thiết bị của bạn; nó giúp bạn tiết kiệm tiền mặt.

Những lỗi phổ biến làm tắc nghẽn luồng không khí (và giết chết phần cứng)

Tôi đã thấy một số thiết lập xấu. Các trung tâm dữ liệu nơi mỗi viên gạch đều có lỗ—sàn trông giống như pho mát Thụy Sĩ và không có áp suất không khí bên dưới. Không khí chỉ ngồi ở đó. Tệ hơn nữa, tôi nhìn thấy những bó dây cáp lớn chạy qua những lỗ không kín trên sàn, khiến toàn bộ không khí lạnh thoát ra ngoài trước khi đến tận đầu dãy. Bạn sẽ không để cửa sổ mở vào mùa đông, vậy tại sao lại để lỗ dưới giá đỡ của bạn? Hãy tránh những cái bẫy này.

Sai lầm số 1: Sử dụng sai số lỗ

Chạy lưu trữ mật độ thấp nhưng sử dụng ô mở 56%? Bạn đang làm tràn ngập khu vực bằng không khí lạnh tràn ra ngoài và không có tác dụng gì. Mặt khác, chạy cụm đào tạo AI nhiệt độ cao nhưng lại dùng gạch mở 12% giá rẻ? Thiết bị của bạn đang thiếu không khí. Hãy ghép gạch với nhiệt độ. Nhiệt độ cao = nhiều lỗ hơn. Nhiệt độ thấp = ít lỗ hơn hoặc gạch đặc hơn.

Sai lầm số 2: Bỏ qua áp suất không khí dưới sàn nhà

Không gian dưới sàn là nơi chứa không khí của bạn. Nếu bạn tạo quá nhiều lỗ hở (gạch có lỗ + lỗ cáp + rò rỉ), áp suất sẽ giảm. Khi áp suất giảm, không khí chậm lại. Không khí chậm nóng lên thậm chí trước khi nó đến được máy chủ của bạn. Bạn cần áp lực tích cực. Một bài kiểm tra đơn giản: lấy khăn giấy. Đặt nó trên một viên gạch có lỗ. Nó có bị hút xuống không? Điều đó thật tệ (áp lực tiêu cực). Nó có nổ tung và nổi không? Tốt đấy. Nó không làm gì cả? Đó là vùng chết.

Cách chọn gạch đục lỗ phù hợp cho giá đỡ của bạn

Đừng lo lắng—bạn không cần phải là kỹ sư. Chỉ cần sử dụng công thức đơn giản này: Tổng lượng không khí cần thiết cho giá đỡ ÷ Số lượng gạch ở phía trước giá = Không khí cần thiết cho mỗi viên gạch. Hầu hết các nhà sản xuất máy chủ đều liệt kê luồng không khí cần thiết trên bảng thông số kỹ thuật của họ. Thêm những con số đó lên. Sau đó kiểm tra bảng dữ liệu của nhà sản xuất gạch của bạn. Một viên gạch tiêu chuẩn có 25% lỗ thường mang lại 400-600 CFM ở áp suất bình thường. Nếu giá của bạn cần 1000 CFM, bạn cần hai trong số những viên gạch đó hoặc một viên gạch có 56% lỗ. Toán học đơn giản sẽ tiết kiệm thiết bị của bạn.

Bước 1: Đo sản lượng không khí của thiết bị làm mát của bạn

Trước khi mua bất kỳ loại gạch nào, hãy biết bạn đang làm việc với cái gì. Bộ CRAC của bạn đẩy một lượng không khí cụ thể. Nếu nó chỉ tạo ra tổng cộng 10.000 CFM thì bạn không thể lắp đặt 20 ô mà mỗi ô cần 1.000 CFM—chúng sẽ bị thiếu không khí. Sử dụng camera nhiệt hoặc máy đo gió (máy đo tốc độ gió) để kiểm tra luồng không khí ở mức sàn. Nếu không khí thoát ra từ gạch hiện tại của bạn có tốc độ dưới 300 feet mỗi phút (FPM), áp suất của bạn quá thấp. Bạn cần bịt kín những chỗ rò rỉ hoặc lắp thêm bộ phận làm mát trước khi thay gạch.

Bước 2: Khớp số lượng lỗ với mức nhiệt

Đây là bảng cheat của tôi:

Nhiệt độ thấp (dưới 2kW mỗi giá): gạch có lỗ 15-20%

Nhiệt độ trung bình (2-5kW mỗi giá): gạch có lỗ 25-35%

Nhiệt độ cao (5-10kW mỗi giá): gạch có lỗ 40-56%

Nhiệt độ cực cao (10kW+): Cần lưới hoặc ống dẫn sàn hoạt động. Đừng cố làm mát 15kW bằng các lỗ cơ bản—việc này giống như dùng vòi tưới vườn để đổ đầy bể bơi.

Lỗ 25%, 35% hay 56%? Nên mua cái nào?

Chúng ta hãy đi qua các tùy chọn. Hầu hết các trung tâm dữ liệu cũ đều hoạt động tốt với 25% lỗ hổng. Nó cung cấp sức đề kháng tốt, có nghĩa là áp lực đều lên sàn. Lỗ 35% là điểm lý tưởng cho các máy chủ phiến hiện đại—chúng cho nhiều không khí đi qua hơn mà không làm giảm tốc độ. Các lỗ 56% (được gọi là 'dòng chảy cao') gần giống như những tấm lưới—bạn có thể nhìn xuyên qua chúng. Chỉ sử dụng những thứ này cho 'điểm nóng' như các hàng điện toán mật độ cao. Hãy sử dụng chúng một cách tiết kiệm, nếu không chúng sẽ lấy hết không khí từ các ô gần đó.

Quy tắc 25%: Hàng máy chủ mật độ thấp

Tôi gọi đây là ô 'vừa phải'. Không quá nhiều lỗ cũng không quá ít. Nếu bạn có bộ chuyển mạch mạng, kệ lưu trữ hoặc máy chủ cũ hơn sử dụng khoảng 300W mỗi bộ thì 25% là hoàn hảo. Nó tạo ra áp suất ngược, đẩy không khí đều lên tất cả các viên gạch ở lối đi lạnh lẽo của bạn. Bạn sẽ không bị nổ mạnh—bạn sẽ có dòng chảy êm ái và ổn định. Đó chính xác là những gì người hâm mộ máy chủ mong muốn: một luồng không khí mát mẻ, yên tĩnh, ổn định chứ không phải một cơn bão.

Quái vật 56%: Máy tính hiệu năng cao

Bây giờ cho những thứ nặng nề. Nếu bạn có cụm GPU, bộ tăng tốc AI hoặc các nút tính toán dày đặc, 25% sẽ bóp nghẹt chúng. Bạn cần gạch có lỗ 56%. Nhưng cảnh báo: những viên gạch này làm giảm đáng kể áp lực dưới sàn. Bạn có thể cần phải bịt kín phần còn lại của sàn bằng các miếng đệm và dải chổi tốt. Ngoài ra, không đặt ô 56% ngay cạnh ô 25%. Không khí sẽ tràn qua lỗ 56% và khiến viên gạch 25% chết hoàn toàn. Nhóm các giá đỡ nhiệt độ cao của bạn lại với nhau và tạo cho chúng 'vùng lưu lượng cao' riêng.

Đặt những viên gạch Holey đó ở đâu

Nó giống như trò chơi 'Operation' — nhưng có không khí. Chỉ đặt các ô có lỗ ngay phía trước nơi máy chủ lấy không khí. Đó là lối đi lạnh lẽo. Đặt chúng sao cho chúng che kín mặt trước của giá đỡ. Đừng đặt chúng dưới mặt sau của giá (lối đi nóng). Đừng đặt chúng dưới không gian trống. Và làm ơn, đừng đặt chúng dưới một bộ UPS lớn không có quạt - bạn chỉ đang lãng phí không khí lạnh vào cục gạch. Sử dụng mô hình lưới. Nếu bạn có một hàng 10 giá đỡ, hãy đặt 2 viên gạch có lỗ trên mỗi giá, hơi so le nếu giá có dải nguồn ở giữa.

Ngăn chặn lối đi nóng/Lối đi lạnh & Gạch lát lỗ

Nếu bạn đã thêm các rào cản để ngăn cách không khí nóng và lạnh, các quy tắc sẽ thay đổi một chút. Trong một lối đi lạnh lẽo được bao bọc hoàn toàn, áp suất bên trong bị giữ lại. Điều này có nghĩa là bạn thường có thể sử dụng các ô có ít lỗ hơn vì không khí không có nơi nào để đi ngoại trừ thông qua các máy chủ. Bạn có thể giảm từ 35% lỗ xuống còn 25%. Nhưng việc ngăn chặn làm cho tình trạng rò rỉ trở nên tồi tệ hơn. Một viên gạch bị thiếu trong một lối đi lạnh lẽo khép kín cũng giống như một quả bóng bay bị nổ - mọi áp lực của bạn biến mất ngay lập tức. Giữ nó kín.

Chuẩn bị cho GPU tương lai

Hãy nhìn về phía trước. Chip thế hệ tiếp theo đang ngày càng nóng hơn chứ không phải mát hơn. Và họ đang bị đóng gói chặt chẽ hơn. Công suất giá đỡ dự kiến ​​sẽ đạt 30kW-50kW mỗi giá trong 3-5 năm tới. Gạch lỗ cơ bản sẽ không đủ. Có thể bạn sẽ cần phải chuyển hoàn toàn từ sàn nâng sang làm mát bằng chất lỏng. Nhưng nếu bạn gắn bó với sàn nâng trong hai năm tới, hãy mua loại gạch có lỗ có thể điều chỉnh được. Chúng có một lỗ thông hơi trượt. Bạn có thể thay đổi vùng mở từ 0% đến 60% bằng tay. Vì vậy, khi thêm máy chủ GPU mới vào tháng tới, bạn chỉ cần bước tới, quay số và nhận được nhiều luồng không khí hơn. Không cần phải mua gạch mới.

Hãy coi sàn nhà của bạn như một vòi hoa sen

Hãy giơ tay nếu bạn đã sử dụng vòi sen giá rẻ. Bạn bật nó lên và nước chảy ra từ mọi lỗ nhưng không có áp lực. Bạn không thể gội đầu. Đó là một sàn nhà có quá nhiều gạch đục lỗ. Bây giờ hãy tưởng tượng một vòi sen tốt có các lỗ có kích thước phù hợp tạo ra tia phun mạnh. Đó là một sàn nhà có sự kết hợp phù hợp giữa gạch đặc và gạch đục lỗ. Không gian dưới sàn là ống dẫn nước của bạn. Gạch là vòi phun. Bạn muốn tia phun mạnh, mạnh (tốc độ cao) chạm tới đỉnh giá chứ không phải một cơn mưa phùn yếu ớt. Khi tối ưu hóa các ô của mình, bạn biến trung tâm dữ liệu của mình từ một vòi phun nước buồn tẻ thành một máy giặt năng lượng cho máy chủ của mình.

Kết luận: Thở dễ, tính toán chăm chỉ hơn

Chúng tôi đã làm được. Bạn không còn là người mới bắt đầu với luồng không khí nữa. Bây giờ bạn biết rằng gạch lát sàn nâng đục lỗ không chỉ là 'sàn có lỗ'—chúng là những công cụ chính xác. Bằng cách khớp lượng lỗ (25%, 35% hoặc 56%) với mức nhiệt của giá, bịt kín các chỗ rò rỉ dưới sàn và chỉ đặt những viên gạch đó ở lối đi lạnh, bạn có thể giảm PUE (Hiệu quả sử dụng năng lượng) xuống 15% hoặc hơn.

Hãy kiểm tra trung tâm dữ liệu của bạn ngay bây giờ. Bạn có thấy một viên gạch có lỗ ở lối đi nóng bức không? Di chuyển nó. Có một viên gạch đặc làm GPU bị đói không? Trao đổi nó.

Máy chủ của bạn sẽ chạy yên tĩnh hơn. AC của bạn sẽ chạy ít thường xuyên hơn. Và sếp của bạn sẽ thích hóa đơn tiền điện thấp hơn.

Bây giờ hãy đi sửa luồng không khí đó. Bạn đã có cái này.