Linux Clustering Intro-hjælp?
Hele feltet er fremmed for mig så derfor håber jeg at nogle herinde sidder inde med lidt viden om emnet :)
Men jeg sidder og overvejer om følgende er muligt:
Sætte en række 32bit/64bit maskiner op som kan dele eksekveringen af programmer - inklusiv mere normale programmer - jeg går ud fra at hvis det overhovedet er muligt, så må det kræve kernel patches eller lignende.
Hvorfor ? Well, jeg kender til DistCC som kan bruges til at kompilere programmer vha. multiple maskiner for derved at få udregningerne til at foregå hurtigere.
Men jeg ønsker at bruge andre programmer som er CPU/RAM intensive.. Et eksempel kunne være MD5-crackere som oftest æder en pæn del CPU - men jeg er sikker på at folk kender til andre ting.
Det meste af min DATA er i forvejen udbudt på et privat LAN via SAMBA hvilket ville sige, at jeg i forvejen burde kunne skabe et miljø, hvor data-materialet som computerne skulle bearbejde ville være tilgængeligt for alle.
Lad mig igen understrege, at jeg _INTET_ aner om feltet og jeg ved ikke, om der er noget der kan sprede de enkelte software tråde fra programmer ud på multiple PC'ere - uden at programmet selv er skrevet med dette for øje. Men hvis det gør, håber jeg at nogen kender til det og kan pege mig i den rigtige retning ;) Det ville jo være synd hvis alt hvad man kan gøre med flere PC'ere er at kompilere software...
Men jeg sidder og overvejer om følgende er muligt:
Sætte en række 32bit/64bit maskiner op som kan dele eksekveringen af programmer - inklusiv mere normale programmer - jeg går ud fra at hvis det overhovedet er muligt, så må det kræve kernel patches eller lignende.
Hvorfor ? Well, jeg kender til DistCC som kan bruges til at kompilere programmer vha. multiple maskiner for derved at få udregningerne til at foregå hurtigere.
Men jeg ønsker at bruge andre programmer som er CPU/RAM intensive.. Et eksempel kunne være MD5-crackere som oftest æder en pæn del CPU - men jeg er sikker på at folk kender til andre ting.
Det meste af min DATA er i forvejen udbudt på et privat LAN via SAMBA hvilket ville sige, at jeg i forvejen burde kunne skabe et miljø, hvor data-materialet som computerne skulle bearbejde ville være tilgængeligt for alle.
Lad mig igen understrege, at jeg _INTET_ aner om feltet og jeg ved ikke, om der er noget der kan sprede de enkelte software tråde fra programmer ud på multiple PC'ere - uden at programmet selv er skrevet med dette for øje. Men hvis det gør, håber jeg at nogen kender til det og kan pege mig i den rigtige retning ;) Det ville jo være synd hvis alt hvad man kan gøre med flere PC'ere er at kompilere software...
Kommentarer7
Re: Linux Clustering Intro-hjælp?
Re: Linux Clustering Intro-hjælp?
Dog har de en delvis opfølger, LinuxPMI som syntes at have samlet op, hvor OpenMosix stoppede med deres 2.6 branch. Men jeg kender heller ikke meget til det. Specielt ikke hvad det kan og ikke kan :/
Re: Linux Clustering Intro-hjælp?
Re: Linux Clustering Intro-hjælp?
Re: Linux Clustering Intro-hjælp?
Det jeg søger er at flere maskiner gerne skulle arbejde med samme opgave :)
Men jeg takker i hvert fald for svaret og jeg håber måske at du kunne bruge mit forslag til noget ;)
Sun Grid Engine
Det er et afprøvet, stabilt system, opensource, nemt at installere og vedligeholde.
Jeg ville så anvende nfs share til at installere SGE og tools på alle nodes i din cluster.
Tak for forslaget! Jeg er
Jeg er dog lidt splittet om det er hvad jeg vil gøre, mest fordi jeg jury-rigger mit "cluster" og min hoved-PC, som samtidigt ville være en god node, er min Linux-pc :/
Men jeg vil alligevel tage et kig på det for at se om SGE er så godt at jeg godt kan undvære en node ;)
Dog håber jeg fortsat på at nogle har lidt erfaring med LinuxPMI eller kender til artikler om Linux og beowulf clustering.
(endnu engang, tak for forslaget ;) )
EDIT:
MPI står for Message Passing Interface syntes at være et generelt koncept, endda en standard som har 2 versioner. MPI-1 som kom i 1995 og MPI-2 som udvider konceptet fra MPI-1 og som udkom i 1996.
MPI er en fælles API for programmer som ønskes at kunne bruges i cluster og grid konfigurationer og en Linux implementation af API'en er OpenMPI.
Længere er jeg ikke kommet i min research, men MPI kan bruges fra alt til at scale MPI-kompatible programmer som normalt ellers kun bruger 1 core til din dual- eller quad-core CPU -ELLER- det kan bruges til at dele udregningerne over seperate computere.
Dette er hvad jeg har fundet ud af indtil videre, hvis man vil vide mere kan man tage et kig på OpenMPI's FAQ: http://www.open-mpi.org/faq/?category=general
Standarden har således diverse implementationer, hvor OpenMPI