LVM oppå RAID5.. noen forslag?

[zoombie]

jeg har satt opp en server hjemme, med LVM oppå RAID5, men begynner å mistenke at dette kanskje ikke er så lurt allikevel..
tenkte at jeg skulle høre med råd fra andre som kan ha satt opp noe liknende?

Tanken er at serveren skal fungere som en sambaserver, og samtidig som et "AD" som inneholder hjemmeområdene til alle maskinene i hjemmenettverket. (som er sånn ca 10 stk for tiden.. ) Mulig jeg utvider denne til LAMP etterhvert, men tror nok heller det blir en annen maskin, en annen tid.. (såfremt ikke noen andre mener at det kan gå bra?)

Har en gammel, 60 GB, ATA disk, som jeg installert OS på, bortsett fra home, og tre 1,5 TB sata disker som er satt opp i RAID5. (hvor /home ble plassert)

Tanken min var som følger :

Disse 2 som egne partisjoner:
Boot - 300 Mb
Swap - 10000 MB

Disse satt opp i LVM på resten av disken:
/ (root) - 5000 MB
usr - 5000 MB
var - 5000 MB
tmp - 5000 MB

Dette betyr i praksis at jeg fortsatt har i underkant av 30GB ledig, som jeg kan legge til når jeg skulle ønske / trenge det. Både Boot og Swap er plassert i egne primær partisjoner, for stabiliteten's og enkelhetens skyld.

de tre andre diskene har jeg først satt opp i RAID5.(dette er gjort under installasjon). Denne disken fikk da automatisk navn MD0, av maskinen, og ble 3TB stor.
Denne ble deretter lagt under LVM. (også under installasjon).

Laget 2 Volume Groups (VG) kalt vg01 og vg02.

under vg01 ligger alt fra første disken, bortsett fra boot og swap.

under vg02 ligger da :
/home ( som ble 1TB), og en partisjon kalt Samba1. (som også ble 1 TB)
Her har jeg også ca 1 TB igjen tilgjengelig, til å utvide det jeg ønsker.

Maskinen booter fint, jeg får tilgang til alt sammen, Samba1 dukker ikke opp som en disk, men som en mappe under / , noe jeg finner praktisk.

tanken var at jeg får sikkerheten fra RAID5, samtidig som at jeg får fleksibiliteten til LVM...
problemene jeg har begynt å tenkte på da, er hvis :

1.vil raidet fungere under LVM? har prøvd å teste, ved å slå av maskin, trekke ut en av diskene, og deretter slå maskin på igjen.. det da booter den ikke... (kan jeg ha gjort noe galt?)

2.hvis jeg ønsker å utvide Raidet... vil det være praktisk mulig?

Blir takknemlig for alle tilbakemeldinger

[ak]

Jeg husker ikke om dette er strengt tatt nødvendig, men jeg gjør alltid følgende:
/boot ligger som RAID1 på samtlige disker, uten bruk av LVM. Dette i tilfelle oppstartsdisken feiler, så er det samme hvilken disk systemet prøver å starte fra.

Resten av plassen på hver disk brukes til md1, som er et RAID 5 volum. På toppen md1 bygger jeg en enkelt volumegroup, og alle partisjoner (utenom /boot) kommer ut av denne.

Hvis du konverterer en eksisterende installasjon slik at / nå ligger under LVM så må du sannsynligvis bygge ny initial ramdisk (mkinitrd) for at systemet skal klare å boote.

Det er visstnok mulig å ekspandere RAID, selv om jeg aldri har gjort det.
http://scotgate.org/2006/07/03/growing- ... ray-mdadm/

[oyoy]

Jeg tror AK har rett i at /boot ikke kan ligge på raid og/eller LVM.
-unntaket er RAID-1 (speil) da man kan boote på en av (de to identiske) diskene..

Vi trenger litt mer info for å forstå hvorfor maskinen din ikke vil boote. Så lenge / og /boot ikke ligger på RAID-5 hos deg ser jeg ingen grunn til at den ikke skulle boote...
... såfremt du ikke refererer til device-filer som forandres når du drar ut en disk!
(hvis f.eks. den disken du fjerner hadde device-id /dev/sdX, så vil alle påfølgende devicefiler forskyves en plass fram..)

Anbefalingene nå går vel på å montere alle filsystem fra enten fs-LABEL eller UUID.

Kan du beskrive mer hvordan maskinen din feilet boot, zoombie?
Starter bootloaderen (lilo/grub)?
Får du feil når Linux prøver å montere /?
Andre feil?

[zoombie]

[Maskinen booter fint, jeg får tilgang til alt sammen, Samba1 dukker ikke opp som en disk, men som en mappe under / , noe jeg finner praktisk.]




problemet mitt er når jeg skal teste Raidet..
Hvis jeg slå av maskinen, trekker ut en av diskene, og starter maskinen på nytt igjen, så gennererer den bare en del feilmeldinger.

hvis jeg "napper ut", en av diskene, mens maskinen kjører, så kræsjer maskinen, og ingenting fungerer. så jeg frykter at hvis en av diskene kræsjer, at jeg mister ALL informasjon.
(det er godt mulig jeg har misforstått, men er det ikke slik at maskinen fortsatt skal fungere videre, hvis en av diskene blir borte?
Jeg har forsåvidt ingen erstatningsdisker installert.. kan dette være problemet?

nå starter forsåvidt ikke maskinen igjen etter at jeg brutalt fjernet en av diskene mens den kjørte.. Dooh..
tok et bilde av skjermen, men vet ikke om jeg får lagt det ut her?

[ak]

Bruk bildr.no , og fortell oss hvordan disse diskene nå er partisjonert.

*Aldri* dra ut disken på en maskin som kjører, hvis den ikke er utstyrt med hotswap slotter. Litt overdrevet så er det som å stoppe et sykkehjul ved å stikke en jernstang gjennom eikene.

[zoombie]

Jeg har altså :

1HDD på 60 GB, som er delt i tre partisjoner.
1 primærpartisjon, med boot, på 300MB
1 primærpartisjon, med /swap, på 10000MB
1 logisk partisjon, som er satt opp med LVM. inni her ligger da root, /tmp, /var og /usr.

Jeg satt den "siste delen" med LVM, for å kunne utvide de respektive delene, hvis det trengs en gang i fremtiden. (f.eks tmp, hvis jeg finner ut at en mailserver er en fornuftig ting å sette opp på denne serveren.)på denne måten har jeg ca. 30 GB igjen av HDD til rådighet, når noe trengs å utvides..

3HDD på 1,5 TB, som er satt sammen i RAID5.
dette gir meg en "disk" kalt MD0, på totalt 3TB.
Denne setter jeg inn under LVM, og deler den så :

1. ca 1TB til /home (som jeg plasserer her, i stedenfor sammen med de andre. Dette for å ha det sikkert, i tilfelle noe ryker.)

2. ca 1TB til samba. Jeg lager en egen mappe som jeg kaller samba1, og mounter den rett under / . Her legger jeg aller filer som skal deles av Samba.

3.ca 1TB som bare ligger der, klar til å fordeles på det som trengs..

maskinen booter fint, filserveren fungerer fint (hastigheten er så som så, men det skyldes vel mere hardware, enn noe annet).
Utfordringen min er når jeg prøver å dra ut en av diskene, når jeg skal teste Raidet..
Eller er det slik at jeg MÅ ha en ekstra disk, som automatisk tar over, når en disk ryker?
(trodde ikke at dette var nødvendig, men at raidet skulle fint fungere, med en manglende disk, til jeg satte inn en manuelt..)

Kan det event. være at root, tmp, usr og var burde ligge i egne, logiske partisjoner, i steden for i LVM? ikke at jeg forstår hvorfor dette skulle være tilfelle?

[ak]

Ok, så du er fortsatt helt avhengig av at 60Gb disken lever for at maskinen skal starte, men da skal ikke /boot være noe problem.

Det er riktig at RAIDet skal kunne brukes med 2 av 3 disker. Som sagt, bare koble fra den disken når maskinen er slått av, det er ikke en realistisk test å dra ut kabelen og det kan ødelegge utstyret.

Hva er så feilmeldingen du får, hvis du fjerner en av de tre diskene i RAIDet? Typisk problem er at diskene skifter navn hvis du fysisk fjerner en av de, dvs. at hvis GRUB tror den skal boote hd(2,0 så har det plustelig blitt hd(1,0)

[zoombie]

Her kommer bildene opp.

1. bilde er når jeg startet maskinen med 1 disk mindre.
(2 disker + OS disk)

2. bilde er når jeg booter maskin med alle diskene, etter å ha tatt ut en disk mens maskinen kjørte.

3. bilde er når jeg booter maskin for andre gang, etter å ha tatt ut disk mens den kjørte..

(dette har jeg forøvrig skjønt at jeg IKKE skal gjøre igjen..

[zoombie]

Jeg prøvde å slå av maskinen en gang, dra ut en av diskene, og starte den på nytt. men dette fungerte heller ikke.

Men det kan være mulig at GRUB prøver å boote feildisk..
er det mulig å sette faste navn på diskene?

i installasjons prossesen har jeg opplevd at diskene skifter navn (og dette har forsåvidt irritert meg litt.. da jeg ønsker at de tre like diskene skal gå etter hverandre type sda, sdb, sdc.. men til å så "forvirrer" 60GB disken inn imellom.. slik at den blir f.eks enten sdb, eller sdc.. mulig å forandre dette?

[ak]

Ouch, jeg kjenner ikke ReiserFS så godt, men den burde egentlig ikke ha funnet noe feil med journalen bare fordi en disk forsvant.

Står 60Gb disken på den første porten på SATA kontrolleren? Det burde strengt tatt ikke endret seg fra sda til sdc uansett, men det er jo litt opp til BIOSen.

Det er generelt mye som skurrer, men jeg tror det blir for vanskelig å spørre om alt.

Skal vi prøve å sette RAID og LVM riktig fra scratch? Det du isåfall må gjøre er å passe på at 60Gb disken er første disk iflg BIOS og at systemet booter greit fra den (når referansene til RAIDet er fjernet), så kan vi fikse resten.

[zoombie]

Jeg kan godt sette opp hele greia på nytt igjen.

det jeg finner litt besynderlig, er at60GB disken min dukker opp som sd - disk, istedenfor en hd - disk.. Da denne er ATA-disk.

måten jeg har koblet alt sammen på, er slik :

dvd-rom først, som master, og deretter 60GB disk, med Cable select.. (samme IDE kabel)

3 stk 1,5 TB disker, på forholdsvis plass 1-2-3, på sata portene.

1stk 360GB, som fra før av er satt opp med FAT32, og som inneholder informasjon jeg ikke ikke har lyst å miste. når alt er satt opp skikkelig, kommer sannsynligvis til å bruke denne som backup, og sette den opp i ext4.

har brukt disse guidene, og blandet de litt sammen :

http://www.linuxbsdos.com/?p=1102&upm_export=print

http://www.debian-administration.org/ar ... ller/print

(når jeg ser gjennom de nå, så tror jeg at jeg kan ha glemt dette:

Optionalstep:
Tomake sureLVMdoesn't get "confused" by the separatedisks versusthe RAIDvolume, we tell lvm only to start on the md1 block device:
Edit /etc/lvm/lvm.conf: Change the filter line to: filter = [ "a|/dev/md1|", "r/.*/" ]
(andmake sure you only have one filter line))

Jeg regner med at du AK har hatt rett, og at grub har prøvd å boote fra feil disk..

hva mener du jeg burde gjøre annerledes?
jeg kan bruke ext4 i stedenfor RaiserFS, hvis du mener det er hensiktsmessig..
event. fjerne dvd rom etter installasjon.?
kom med forslag, jeg er åpen for løsninger

Tenkte at jeg skulle prøve å flashe bios idag også, for å ha siste oppdatering, før jeg setter opp alt på nytt..

Tusen takk for tiden din, jeg setter pris på hjelpen..



Har nå installert alt på nytt, (droppa å flashe bios, dog) og tror jeg har funnet feilen...
ser ut som grub installerer seg på sda i steden for på riktig disk..
det jeg syntes er besynderlig, er at ATA disken min (den på 60GB) dukker opp som en sd-disk, istedenfor en hd-disk (hda som den burde hete)

nå kom iallefall de tre 1,5TB diskene mine etter hverandre, slik at de nå heter sda, sdb og sdc.
har en fjerde sata disk, som dukker opp som sdd, formatert med FAT32, som har litt info. så jeg vil ikke røre denne foreløbig.
OS disken min (60gb) dukker opp som sde. (ikke at det gjør meg noe, men noe burde vel være galt, når denne er en ATA disk?)

spørsmålet er vel egentlig.. hvordan får jeg forandret/installert GRUB på sde istedenfor på sda (som den automatisk valgte)?

prøvde grub-install sde, men fikk opp :

[ak]

Hei, beklager litt sen respons , mye som skjer i disse dager.

Dette med at diskene stadig endrer rekkefølge er ganske trøblete. Hvilken disitribusjon og versjon er det? Usikker på om det er vits i å prøve å gjøre noe med RAIDet før dette roer seg.

Ta ihvertfall en titt i BIOS for å se om det finnes noen innstillinger, og les release notes for BIOS-oppdateringen.

Årsaken til at IDE-disken dukker opp som SATA er at ATA-driverne har blitt droppet fra Linux. Istedet er det blitt skrevet et tynt lag som oversetter fra ATA til SATA, slik at det er mindre kode å vedlikeholde totalt.

[zoombie]

Aha... det forklarer hvorfor den blir til sde istedenfor hda

jeg bruker ubuntu server 10.04.
har installert ubuntu desktop, som jeg håper å klare droppe en gang i fremtiden

Du har nok rett, jeg burde sjekke bios for å se om det er noe som kan gjøres der.

[Limpalot]

Sett opp /etc/fstab til å montere disker ut fra uuid i stedet for sda sdb osv...
Så lenge du kjører en ide-disk vil den på de fleste maskiner bli SISTE disk, ikke første og fjerner du en sata-disk da, ja så endrer den navn på de andre, /dev/sde blir da plutselig /dev/sdd
Du setter deretter opp bare en VG til LVM, ingen grunn til å splitte plass i to volumgrupper, bedre å ha en volumgruppe med to volum oppå, da kan du flytte plass fra det ene til det andre og ha reserveplass som kan fordeles mellom de to uten problemer.

[zoombie]

[Sett opp /etc/fstab til å montere disker ut fra uuid i stedet for sda sdb osv...
Så lenge du kjører en ide-disk vil den på de fleste maskiner bli SISTE disk, ikke første og fjerner du en sata-disk da, ja så endrer den navn på de andre, /dev/sde blir da plutselig /dev/sdd]

skal prøve med fstab.. har ikke brukt det før, men en gang må jo være den første


[Du setter deretter opp bare en VG til LVM, ingen grunn til å splitte plass i to volumgrupper, bedre å ha en volumgruppe med to volum oppå, da kan du flytte plass fra det ene til det andre og ha reserveplass som kan fordeles mellom de to uten problemer.]

Det var slik jeg orginalt tenkte på dette også, men det vil implementere resten av ide disken i vg-gruppen, sammen med raidet. (vil det ikke?)
dermed vil jeg "miste kontrollen" på ca. 30GB (som er igjen fra ide disken) og "vital" informasjon vil kunne havne der, som jeg er interessert i å beholde..
hvis ide disken ryker, så jeg kunne miste en god del informasjon. (rett meg hvis jeg tar feil)
Jeg vil foretrekke å miste OS disken, og sette denne opp på nytt, kontra miste informasjon.
(igjen, hvis jeg tar grundig feil her, så si gjerne ifra.)
Tanken er også at jeg ønsker å utvide raidet med en disk til i fremtiden, og det å ha raidet i sin egen vg virket fornuftig.



Prøvde å finne manualer til Hovedkortet mitt, men det var visst lettere sagt enn gjort.
Har et Micro-star MS-7123 kort.. og ikke engang Google vet tydeligvis noe om det.

Så viss noen vet noe som det kortet, (eller har manualene) så si gjerne ifra.