Бір секундқа шынайы болайық. Сіз серверлерге, қосқыштарға және жадқа миллиондаған ақша жұмсадыңыз, бірақ деректер орталығы әлі де реактивті қозғалтқыш сияқты естіледі және жабдықыңыз қызып кетті. Мәселе неде? Көбінесе бұл сіздің аяқтарыңыздың астында - көтерілген еден плиткалары. Атап айтқанда, перфорацияланғандар. Егер сіз бұл тақтайшаларды дұрыс алмасаңыз, салқындату шоттары шатырдан өтеді және сіздің IT құрылғыларыңыз баяулайды. Бұл нұсқаулықта мен сізге ауа ағынын түзету үшін перфорацияланған еден плиткалары туралы білуіңіз керек барлық нәрсені көрсетемін. Бастайық.
Неліктен деректер орталығыңыз саунаға ұқсайды?
Сіз сервер бөлмесіне кіріп, ыстық ауаны сезіндіңіз бе? Бұл қызық емес. Көптеген менеджерлер айнымалы токты қосу шешім деп санайды. Бірақ бұл алдыңғы есікті ашық қалдырып, үйіңізді салқындатуға тырысу сияқты - сіз жай ғана энергияны жұмсайсыз. Перфорацияланған еден плиткалары суық ауаның қақпасы болып табылады. Олар еден астынан суық ауаны алып, оны суық өтпелерге бағыттайды. Егер бұл тақтайшалар дұрыс таңдалса немесе нашар орналастырылса, ауа кабель саңылаулары арқылы шығады, тығыздалмаған түйіспелердің айналасына ағып кетеді немесе аз қысыммен шығады, ол серверлерге әрең жетеді. Біз мұны түзетуіміз керек. Бүгін біз сізді ауа ағынының сарапшысы етеміз.
Перфорацияланған еден плиткалары дегеніміз не?
Қарапайым тілмен айтқанда, бұл тесіктері бар едендік панельдер. Олар жоғары еден деректер орталығының белгілі бір жерлеріндегі қатты панельдерді ауыстырады. Қатты панельдер суық ауаны төмендетсе де, олар суық ауаның серверлеріңізге өтуіне мүмкіндік береді. Олар болат, алюминий немесе композиттік материалдарда келеді. Кілт тек тесіктер емес, бұл тесік үлгісі. Кейбіреулерінде дөңгелек тесіктер бар; кейбіреулерінде ауа ағынын бағыттайтын бұрыштық саңылаулар бар. Бірақ көптеген деректер орталықтары үшін стандартты дөңгелек тесігі жақсы жұмыс істейді. Бұл тақтайшаларсыз сервер жанкүйерлеріңіз жеткілікті ауа алу үшін күреседі.
Саңылаулар қалай жұмыс істейді: перфорация коэффициенттері түсіндірілді
Бір минутқа аздап техникалық мәлімет алайық. Сіз 'Ашық аумақтың пайызы' терминін естисіз - бұл тек жалпы плитка ауданына бөлінген жалпы тесік ауданы. Мысалы, 25% ашық алаңы бар плитка оның 75% әлі де қатты екенін білдіреді. Бұл сан ауа қысымы мен ағынына әсер етеді. Міне, қиындық: төмен қысымды тым көп тесік = ауа тым баяу шығады. Жоғары қысымды тесіктер тым аз = ауа өрт шлангі сияқты шығады, бірақ жеткілікті орынды қамтымайды. Мұның бәрі тепе-теңдікке байланысты. Ауаны барлық плиткаларға біркелкі тарату үшін сізге жеткілікті қарсылық қажет, бірақ салқындатқыш қондырғылар онымен күресетіндей емес.
Қатты және перфорацияланған плиткалар: қайсысы жеңеді?
Қатты плиткалар - бұл скучно, сенімді. Олар еденді тығыздайды. Сіз олардың үстінен жүресіз, оларға сөрелерді қоясыз. Олардың міндеті - суық ауаны ұстап тұру. Перфорацияланған плиткалар әртүрлі - олардың міндеті - суық ауаны көтеру. Ең үлкен қателік? Жабдық жоқ жерде перфорацияланған плиткаларды пайдалану. Желдеткіш тақтайшаны ыстық дәлізге қойсаңыз, серверлерден келетін ыстық ауа сол тесік арқылы төмен түсіп, астындағы суық ауамен араласады. Бұл жаман.
Қарапайым ереже: серверді қабылдайтын желдеткіштердің алдындағы суық дәлізді қоспағанда, барлық жерде қатты плиткаларды пайдаланыңыз.
Неліктен ауа ағынын түзету маңызды
Ауа ағынын елемеу қымбатқа түседі. Бұл тек жоғары электр шоттары туралы емес, бұл сіздің серверлеріңіздің қызмет ету мерзімі туралы. Әрбір 10°C (18°F) температураның жоғарылауы аппараттық құралдың қызмет ету мерзімін екі есе қысқартуы мүмкін. Перфорацияланған плиткалар - бұл сатып алуға болатын ең арзан сақтандыру. Оларды дұрыс орналастырып, таңдасаңыз, термостатты шынымен көтеруге болады. Иә, дұрыс оқыдың. ASHRAE (салқындату стандарттары тобы) енді ауа ағыны жақсы басқарылатын болса, жоғарырақ температураны (жиі 75-80°F) ұсынады. Бұл салқындату үшін көп ақша үнемдейді. Сонымен, плиткаларды жөндеу жабдықты салқындатып қана қоймайды; ол қолма-қол ақшаны үнемдейді.
Ауа ағынын тежейтін жалпы қателер (және аппараттық құралды өлтіреді)
Мен кейбір нашар орнатуларды көрдім. Әрбір тақтайшаның тесіктері бар деректер орталықтары - еден швейцариялық ірімшікке ұқсайды және астында ауа қысымы жоқ. Ауа сонда ғана отырады. Одан да сорақысы, едендегі жабылмаған саңылаулар арқылы өтетін кабельдердің үлкен байламдарын көріп тұрмын, бұл барлық суық ауа жолдың ең шетіне жетпей тұрып кетуіне мүмкіндік береді. Сіз қыста терезені ашық қалдырмас едіңіз, сөрелердің астында неліктен тесіктер қалдыру керек? Бұл тұзақтардан аулақ болыңыз.
№1 қате: дұрыс емес саңылау мөлшерін пайдалану
Төмен тығыздықты сақтауды іске қосып жатырсыз, бірақ 56% ашық тақтайшаларды пайдаланасыз ба? Сіз аумақты жай ғана төгілетін және ештеңе жасамайтын суық ауамен толтырып жатырсыз. Екінші жағынан, жоғары жылумен, бірақ арзан 12% ашық тақтайшаларды пайдалану арқылы AI оқыту кластерлерін іске қосу керек пе? Жабдықтарыңыз ауа таппай жатыр. Плитканы жылумен сәйкестендіріңіз. Жоғары қызу = көбірек тесіктер. Төмен жылу = аз тесіктер немесе қатты плиткалар.
№2 қате: Еден астындағы ауа қысымын елемеу
Еденнің астындағы кеңістік - сіздің ауа қоймасы. Тым көп саңылаулар жасасаңыз (тесік плиткалар + кабель саңылаулары + ағып кетулер), қысым төмендейді. Қысым төмендеген кезде ауа баяулайды. Баяу ауа сіздің серверлеріңізге жеткенше қызады. Сізге оң қысым қажет. Қарапайым сынақ: майлық алыңыз. Оны тесік тақтайшаның үстіне қойыңыз. Ол сорып алады ма? Бұл жаман (теріс қысым). Ол жарылып, қалқып кете ме? Бұл жақсы. Ол ештеңе істемейді ме? Бұл өлі аймақ.
Тірекке дұрыс перфорацияланған тақтайшаны қалай таңдауға болады
Уайымдамаңыз - сізге инженер болудың қажеті жоқ. Мына қарапайым формуланы пайдаланыңыз: Тірекке қажетті жалпы ауа ÷ Сөре алдындағы тақтайшалар саны = Бір плиткаға қажетті ауа. Көптеген сервер жасаушылар өздерінің техникалық парағында қажетті ауа ағынын көрсетеді. Сол сандарды қосыңыз. Содан кейін плитка жасаушының деректер парағын тексеріңіз. 25% саңылаулары бар стандартты плитка әдетте қалыпты қысымда 400-600 CFM береді. Тірекке 1000 CFM қажет болса, сізге екі плитка немесе 56% тесіктері бар бір плитка қажет. Қарапайым математика жабдықты үнемдейді.
1-қадам: Салқындату құрылғысының ауа шығысын өлшеңіз
Кез келген плитка сатып алмас бұрын, немен жұмыс істеп жатқаныңызды біліңіз. Сіздің CRAC құрылғыңыз ауаның белгілі бір мөлшерін итереді. Егер ол барлығы 10 000 CFM шығарса, әрқайсысына 1000 CFM қажет 20 тақтайшаны орната алмайсыз - олар ауасыз қалады. Еден деңгейінде ауа ағынын тексеру үшін жылу камерасын немесе анемометрді (жел жылдамдығын өлшегіш) пайдаланыңыз. Ағымдағы плиткалардан шығатын ауа минутына 300 футтан (FPM) төмен болса, сіздің қысымыңыз тым төмен. Плиткаларды ауыстырмас бұрын ағып кетуді жабу немесе қосымша салқындату қондырғыларын қосу керек.
2-қадам: Жылу деңгейіне тесік мөлшерін сәйкестендіріңіз
Міне, менің алдау парағым:
Төмен қызу (әр тартпаға 2 кВт-тан төмен): 15-20% саңылау плиткасы
Орташа қызу (әр тартпаға 2-5кВт): 25-35% ойық плиткалар
Жоғары қызу (әр тірекке 5-10кВт): 40-56% саңылау плиткасы
Қатты қызу (10кВт+): белсенді еден торлары немесе арналар қажет. Негізгі саңылаулармен 15 кВт салқындатуға тырыспаңыз — бұл бассейнді толтыру үшін бақша шлангісін пайдалану сияқты.
25%, 35% немесе 56% Саңылаулар ма? Қайсысын сатып алу керек?
Опцияларды қарастырайық. Көптеген ескі деректер орталықтары 25% саңылаулармен жақсы жұмыс істейді. Ол жақсы қарсылықты қамтамасыз етеді, бұл еденге біркелкі қысымды білдіреді. 35% саңылаулар заманауи blade серверлері үшін қолайлы орын - олар жылдамдықты жоғалтпай көбірек ауа өткізеді. 56% саңылаулар ('жоғары ағын' деп аталады) дерлік торлар сияқты - олар арқылы тікелей көруге болады. Оларды тек тығыздығы жоғары есептеу жолдары сияқты 'ыстық нүктелер' үшін ғана пайдаланыңыз. Оларды үнемді пайдаланыңыз, әйтпесе олар жақын маңдағы плиткалардың барлық ауасын ұрлайды.
25% ережесі: Төмен тығыздықтағы сервер жолдары
Мен мұны 'дәл дұрыс' тақтайша деп атаймын. Тым көп емес, тым аз емес. Егер сізде желілік қосқыштар, сақтау сөрелері немесе әрқайсысы шамамен 300 Вт қолданатын ескі серверлер болса, 25% тамаша. Ол кері қысым жасайды, ол ауаны суық дәліздегі барлық плиткаларға біркелкі итереді. Сіз күшті жарылыстарды алмайсыз - тегіс, тұрақты ағын аласыз. Сервер жанкүйерлері дәл осыны қалайды: дауыл емес, салқын ауаның тұрақты, тыныш ағыны.
56% жыртқыш: өнімділігі жоғары есептеулер
Енді ауыр жүкті заттарға. Егер сізде GPU кластерлері, AI үдеткіштері немесе тығыз есептеу түйіндері болса, 25% оларды тұншықтырады. Сізге 56% ойық плитка қажет. Бірақ ескерту: бұл плиткалар еден астындағы қысымды күрт төмендетеді. Еденнің қалған бөлігін жақсы тромбтармен және щетка жолақтарымен тығыздау қажет болуы мүмкін. Сондай-ақ, 56% тақтайшаны 25% тақтайшаның дәл қасына қоймаңыз. Ауа 56% саңылаудан өтіп, 25% плитка толығымен өлі күйде қалады. Жоғары қызу сөрелерін бірге топтаңыз және оларға өздерінің 'жоғары ағынды аймағын' беріңіз.
Бұл ойық плиткаларды қайда қою керек
Бұл 'Операция' ойыны сияқты, бірақ ауамен. Саңылау тақтайшаларын тек серверлер ауа алатын жердің алдына қойыңыз. Бұл суық дәліз. Оларды сөренің алдыңғы жағын жауып тұратындай етіп қойыңыз. Оларды сөренің артқы жағына (ыстық өтпеге) қоймаңыз. Оларды бос орынның астына қоймаңыз. Өтінемін, оларды желдеткіштері жоқ үлкен UPS құрылғысының астына қоймаңыз - сіз жай ғана кірпішке салқын ауаны жұмсайсыз. Тор үлгісін пайдаланыңыз. Егер сізде 10 сөре қатары болса, тіректің орталық қуат жолағы болса, әр сөреге 2 саңылау тақтайшасын салыңыз.
Ыстық дәліз/суық өткелді сақтау және тесік тақтайшалары
Ыстық және суық ауаны бөлу үшін кедергілерді қоссаңыз, ережелер аздап өзгереді. Толығымен жабық суық дәлізде ішіндегі қысым ұсталады. Бұл әдетте аз саңылаулары бар плиткаларды қолдануға болатындығын білдіреді, себебі ауаның серверлерден басқа ешқайсысы бармайды. Сіз 35% саңылаулардан 25% дейін төмендей аласыз. Бірақ оқшаулау ағып кетуді нашарлатады. Жабық суық дәлізде бір жетіспейтін плитка ұшып кеткен шарға ұқсайды - сіздің барлық қысымыңыз бірден жоғалады. Оны мықтап бекітіңіз.
Болашақ графикалық процессорларға дайындық
Алға қарайық. Жаңа буын чиптері салқын емес, қызып барады. Және олар тығызырақ жиналады. Алдағы 3-5 жылда тірек қуаты 30кВт-50кВт-қа жетеді деп күтілуде. Негізгі тесік плиткалары жеткіліксіз болады. Сізге көтерілген едендерден толығымен сұйық салқындатуға көшу қажет болуы мүмкін. Бірақ егер сіз келесі екі жыл бойы көтерілген едендерді ұстанатын болсаңыз, реттелетін тесік плиткаларын сатып алыңыз. Бұлардың жылжымалы желдеткіші бар. Ашық аумақты 0%-дан 60%-ға дейін қолмен өзгертуге болады. Осылайша, келесі айда жаңа GPU серверін қосқанда, сіз жай ғана өтіп, теруді бұрып, көбірек ауа ағынын аласыз. Жаңа плиткаларды сатып алудың қажеті жоқ.
Еденіңізді душ кабинасы ретінде елестетіп көріңіз
Арзан душ басын пайдаланған болсаңыз, қолыңызды көтеріңіз. Сіз оны қосасыз, әр тесіктен су тамшылайды, бірақ қысым жоқ. Шашыңызды шаюға болмайды. Бұл тым көп плиткалары бар еден. Енді күшті спрейді жасайтын жақсы өлшемді тесіктері бар жақсы душ басын елестетіп көріңіз. Бұл қатты және ойық плиткалардың дұрыс араласуы бар еден. Еденнің астындағы кеңістік - сіздің су құбырыңыз. Плиткалар саптама болып табылады. Күшті, күшті спрейдің (жоғары жылдамдықты) әлсіз жаңбыр емес, сөренің жоғарғы жағына жетуін қалайсыз. Плиткаларды оңтайландырған кезде деректер орталығын қайғылы спринклерден серверлеріңізге арналған қуат жуғышқа айналдырасыз.
Қорытынды: Жеңіл тыныс ал, қиынырақ есепте
Біз оны жасадық. Сіз енді ауа ағынын жаңадан бастаған емессіз. Енді сіз тесілген көтерілген еден плиткалары жай ғана 'тесігі бар едендер' емес, олар дәл құралдар екенін білесіз. Тесік мөлшерін (25%, 35% немесе 56%) тартпаңыздың қызу деңгейіне сәйкестендіру, еден астындағы ағып кетулерді жабу және сол плиткаларды тек суық дәлізге қою арқылы PUE (қуатты пайдалану тиімділігі) 15% немесе одан да көп төмендете аласыз.
Дәл қазір деректер орталығына барыңыз. Сіз ыстық дәлізде ойық тақтайшаны көріп тұрсыз ба? Оны жылжытыңыз. GPU ашатын қатты плитка бар ма? Оны ауыстырыңыз.
Серверлеріңіз тыныш жұмыс істейді. Сіздің айнымалы ток жиі жұмыс істейді. Ал сіздің бастығыңыз электр шотының төмендігін жақсы көреді.
Енді сол ауа ағынын жөндеңіз. Сізде бұл бар.
