Sisältö
on wiki, mikä tarkoittaa, että monet artikkelit ovat useiden kirjoittajien kirjoittamia. Tämän artikkelin luomiseksi 18 ihmistä, joista jotkut olivat nimettömiä, osallistuivat sen julkaisuun ja sen parantamiseen ajan myötä.Tarvitsetko koneen, jonka on suoritettava satoja miljardeja liukulukulaskelmia sekunnissa? Tarvitsetko tarinan selittääksesi kuinka kellarissa oleva supertietokoneesi räjäytti katkaisijan? Suorituskykyisten tietokoneiden klusterin (tai klusterin) rakentaminen on haaste, jonka kuka tahansa asiantuntija voi voittaa viikonloppuna sopivan budjetin avulla. Tekniseltä kannalta moderni moniprosessorinen supertietokone on tietokoneverkko, joka toimii samanaikaisesti ongelman ratkaisemiseksi. Noudattamalla yksinkertaisia ohjeita laitteiden asentamiseen ja tarvittavien ohjelmistojen asentamiseen, sinullakin voi olla superkone.
vaiheet
-
Määritä tarvittavat laitteet ja resurssit. Tarvitset pääsolmun, ainakin kaksitoista muuta identtistä solmua, Ethernet-kytkimen, virtalähdeyksikön ja hyllyn. Määritä sähkön, jäähdytyksen ja tilan tarpeet. Sinun on myös päätettävä, mitä IP-osoitetta haluat käyttää yksityisissä verkoissasi, solmujen nimet, asennettavat ohjelmistot ja tietotekniikka, jota haluat käyttää laskentamahdollisuuksiin (palaamme tähän myöhemmin).- Vaikka laitteisto maksaa sinulle kalliisti, kaikki tässä artikkelissa esitetyt ohjelmistot ovat ilmaisia ja useimmissa niistä ei ole oikeuksia.
- Jos haluat saada käsityksen siitä, kuinka nopeasti supertietokone pääsee, voit käyttää tätä työkalua: http://hpl-calculator.sourceforge.net/.
-
Asenna solmut. Sinun on koottava solmut tai hankittava esiasennetut palvelimet.- Valitse palvelimen runko, jossa on runsaasti tilaa, sopiva jäähdytysjärjestelmä ja energian optimointi.
- Voit käyttää myös kymmeniä vanhoja palvelimia, joiden summa ylittää yksittäisten yksiköiden tehon ja säästät paljon rahaa. Kaikkien prosessorien, verkkosovittimien ja emolevyjen on oltava identtisiä koko järjestelmän sujuvan toiminnan kannalta. Tietysti ei pidä unohtaa RAM-muistia ja tallennustilaa jokaiselle solmulle, samoin kuin vähintään yhtä levyasemaa päälle.
-
Asenna palvelimet hyllylle. Aloita alareunasta, jos hyllyn yläosaa ei painoteta. Tarvitset myös ystävän auttaaksesi, palvelimet voivat olla raskaita ja niitä on vaikea ohjata hyllykaiteille. -
Asenna Ethernet-kytkin rungon päälle. Ota hetki aikaa määrittää se. Salli 9000 tavun hyppykehyksen koko, aseta IP-osoitteet ensimmäisessä vaiheessa valitsemillesi staattisille osoitteille ja poista tarpeettomat protokollat, kuten SMTP-snooping. -
Asenna nykyinen yksikkö. Riippuen siitä, kuinka paljon virtaa solmut tarvitsevat, tarvitset todennäköisesti 220 voltin yksikön. -
Määritä laitteisto. Kun kaikki on asennettu, voit aloittaa laitteiden määrittämisen. Linux on HPC-klusterien oletuskäyttöjärjestelmä, ei vain siksi, että se on paras ympäristö tieteellisille laskelmille, vaan myös siksi, että se on täysin ilmainen asentaa satoihin tai tuhansiin solmuihin. Kuvittele hinta, jonka maksat, jos joudut asentamaan Windowsin jokaiseen näistä solmuista.- Aloita asentamalla uusin BIOS- ja emolevy-firmware-ohjelmisto, jonka tulisi olla sama kaikille emolevyille.
- Asenna haluamasi Linux-jakelu jokaiseen solmuun ja jakelu graafisella käyttöliittymällä pääsolmussa. CentOS, OpenSuse, Scientific Linux, RedHat tai SLES käytetään usein.
- Tätä artikkelia varten suosittelemme voimakkaasti Rocks Clusteria. Sen lisäksi, että asentaa kaikki klusterien moitteettomaan toimintaan tarvittavat työkalut, Rocks käyttää erinomaista menetelmää "jakaa" itsestään useita tapauksia nopeasti solmuihin käyttämällä PXE-käynnistystä ja Red Tea Tree Oil Quick Launch -menettelyä.
-
Asenna ohjelmisto. Asenna käyttöliittymä siirtoon, resurssien hallintaan ja muihin tarvittaviin kirjastoihin. Jos et asentanut Rocksia edellisessä vaiheessa, sinun on määritettävä manuaalisesti kaikki tarvittavat ohjelmistot rinnakkaislaskentamekanismien aktivoimiseksi.- Ensin tarvitset bash-hallintajärjestelmän, kuten Torque Resource Manager, jonka avulla voit jakaa ja jakaa erilaisia tehtäviä useille koneille.
- Vääntömomentti Maui Cluster Scheduler -sovelluksella konfiguroinnin loppuun saattamiseksi.
- Seuraavaksi sinun on asennettava lähettäjärajapinta, jota tarvitaan eri koneiden prosesseihin jakamaan sama tieto. Asenna OpenMP, sitä on erittäin helppo käyttää.
- Älä unohda monisäikeisiä kirjastoja ja kääntäjiä rinnakkaislaskentaohjelmien luomiseen. Jälleen kerran, Rocks on paras ratkaisu.
-
Kytke solmut verkkoon. Pääsolmu lähettää suoritettavat tehtävät muille laskusolmuille, jotka palauttavat tulokset lähettäessään viestejä toisilleen. Mitä nopeammin se menee, sitä parempi.- Yhdistä kaikki nämä solmut klusteriin yksityisen Ethernet-verkon avulla.
- Pääsolmu voi toimia myös NFS-, PXE-, DHCP-, TFTP- ja NTP-palvelimena luomassa verkossa.
- Sinun on erotettava tämä verkko julkisista verkoista varmistaaksesi, että palvelimien vaihtamat paketit eivät häiritse muun verkon kautta vaihdettuja paketteja.
-
Testaa klusteri. Viimeinen tehtävä, joka sinun on tehtävä ennen superkoneen kaiken virran vapauttamista, on testata sen suorituskyky. High Performance Lynpack (HPL) -suoritustesti on suosittu valinta mitata tietokoneklusterin laskenopeutta. Sinun on käännettävä se lähteeltään kaikilla optimoinneilla, joita kääntäjäsi tarjoaa valitsemasi arkkitehtuurin mukaan.- On selvää, että sinun on käännettävä se lähteestä, joka antaa sinulle eniten vaihtoehtoja alustasi optimoimiseksi. Esimerkiksi, jos käytät AMD-prosessoreita, käännä se Open64: n avulla valitsemalla -0nopea optimointitaso.
- Vertaile TOP500.org-sivuston tuloksia nähdäksesi, pystyykö supertietokonesi kilpailemaan 500 maailman tehokkaimman supertietokonen kanssa!
- Tutustu InfiniBand-käyttöliittymiin päästäksesi todella nopeille nopeuksille verkossa. Valmistaudu kuitenkin rikkomaan säästöpossu.
- IPMI voi tehdä suuren mittakaavan hallinnan helpommaksi tuomalla sinulle KVM-over-IP: n, erillisen virranjakson ja paljon muuta.
- Käytä Gangliaa seurataksesi solmujen laskentakuormia.
- Varmista, että infrastruktuurisi tukee kuormaa.