/dev - full på noen uker ?

[mrf00rk]

Hei

Min /dev har gått full på noen uker, og jeg aner ikke hvorfor? Hvordan kan dette ha seg?
(Debian Squeeze 2.6.26-2-686 #1 SMP oppdatert ukentlig)


Edit:

Kode: Merk alt

Filesystem            Size  Used Avail Use% Mounted on
/dev/sda1              71G   24G   44G  36% /
tmpfs                 506M     0  506M   0% /lib/init/rw
udev                   10M   10M     0 100% /dev
tmpfs                 506M   24K  506M   1% /dev/shm
/dev/sdb1             230G  160G   58G  74% /mnt/opt1
/dev/sdb2             230G   70G  148G  33% /mnt/opt2
/dev/md0              688G  273G  381G  42% /mnt/opt3


Altså, udev som er full, jeg har ikke sjekket df -h før nå, så kanskje jeg kan finne noe via google.

[moma Erfaren]

Hei,
Udev er utstyrhåndterer som skaper devicenavn i /dev etter behov. Disse navnene tar vel ikke særlig mye plass så det må være noe annet som har sneket seg inn.

Kan du liste de største katalogene og filene under /dev. Se etter alt som ikke er devicenavn. Sjekk også skjulte kataloger og filer (som begynner med ".").

$ du -ab /dev | sort -n -r | less

For sammenligning, df -h /dev på denne maskinen ser slik ut.

Kode: Merk alt

Filesystem            Size  Used    Avail  Use%  Mounted on
udev                 1007M   224K 1007M   1%    /dev

Jeg vet ikke hva som bestemmer den totale størrelsen på /dev.

[ak]

Skrev først noe tull du kan se bort i fra.

Men en mulighet, som moma's script vil gi svar på, er en trykkleif. F.eks. hvis et program sender output til /dev/nul istedet for /dev/null (som er et magisk, sort hull) så vil /dev/nul vokse og vokse til det er fult.

[mrf00rk]

Det var faktisk /dev/null som var problemet ja. /dev/null.1/2/3 faktisk Sletta hele fjøla, så jeg se hva som skjer. Tror ikke jeg har noen crontabs som ender i /dev/null heller, så det må være en bug en plass. Men den fylles vel heller ikke så fort, så det er bare å anta at en fix kan være innen rekkevidde før den tid

Edit: Selvsagt var jeg for tidlig ut med å svare. udev er fortsatt 100% full.

Her har jeg outputen fra scriptet lengre opp:

Kode: Merk alt

134278089       /dev
134217888       /dev/shm
67108904        /dev/shm/pulse-shm-3478956386
67108904        /dev/shm/pulse-shm-3249775763
48213   /dev/.udev
32080   /dev/.udev/names
14672   /dev/.udev/db
4340    /dev/char
1346    /dev/disk
1163    /dev/.udev/watch
1021    /dev/block
761     /dev/.udev/db/\x2fblock\x2fsdb\x2fsdb2
761     /dev/.udev/db/\x2fblock\x2fsdb\x2fsdb1
721     /dev/disk/by-id
709     /dev/.udev/db/\x2fblock\x2fsda\x2fsda1
700     /dev/.udev/db/\x2fblock\x2fsdd\x2fsdd1
700     /dev/.udev/db/\x2fblock\x2fsdc\x2fsdc1
588     /dev/.udev/db/\x2fblock\x2fsdd
540     /dev/bus
539     /dev/.udev/db/\x2fblock\x2fsda\x2fsda5
526     /dev/.udev/db/\x2fblock\x2fsdb
518     /dev/.udev/db/\x2fclass\x2finput\x2finput328\x2fevent0
483     /dev/.udev/db/\x2fblock\x2fsda\x2fsda2
480     /dev/bus/usb
467     /dev/.udev/db/\x2fblock\x2fsda
397     /dev/.udev/db/\x2fblock\x2fmd0
392     /dev/.udev/db/\x2fclass\x2finput\x2finput329\x2fevent1
367     /dev/input
366     /dev/disk/by-path
200     /dev/snd
159     /dev/disk/by-uuid
152     /dev/.udev/rules.d
134     /dev/.udev/db/\x2fclass\x2finput\x2finput3\x2fevent3
120     /dev/bsg
100     /dev/bus/usb/002


[geirendre Erfaren]

Tror ikke problemet ditt er at /dev har blitt full,
men heller at størrelsen på /dev er altfor liten.
Som du ser av momas utlisting, så er hans /dev
på 1007M (samme som min er), mens din bare er 10M.
Er vel ganske naturlig at den fylles fort opp da....

Så slik jeg ser det, så er ikke løsningen å lete etter "store" filer i /dev,
men heller å få øket størrelsen på /dev

[ak]

geirendre: Det er jo ikke et ordentlig filsystem da, det er noe udev lager og det er jo ikke noe som skal kopieres inn dit. På Gentoo er den også bare 10 mbyte, og 136k i bruk (akkurat som på Debian).

mrf00rk: Dette holder stand mellom reboots ?

[mrf00rk]

serveren står ca i Trondheim, og jeg befinner meg i Oslo. Jeg satser ikke på reboot i dette tilfellet

geirendre: Den ble full på noen uker nå i det siste, på en install som er over 1 år gammel. Så det må være noe humbug som har skjedd de siste ukene.

[art3mis]

Kode: Merk alt

udev                   10M  172K  9,9M   2% /dev

82298   /dev
65821   /dev/.udev
44040   /dev/.udev/names
19234   /dev/.udev/db
5981    /dev/char
2162    /dev/.udev/watch
1671    /dev/disk
1102    /dev/block


Gentoo boks.

shm er også veldig stor, men hvor mye ram er det i pcen? Begynner den å bruke av /dev om den går tom for minne? (som vel også ligger i minnet?)

134278089 - 134217888 = 60201 som slettes ikke er total avsindig til sammenligning med de andre tallene her for /dev.

[mrf00rk]

Ett bilde er verdt mer enn...



Edit: Noe er muffens på servern i allefall. Jeg slo av en del prosesser, restartet de og nå har jeg 13% til overs i /dev
Flere prosesser sluttet også å logge plutselig til munin, selv om de ikke er avslått. Og apache nekter å la seg avslutte. Så jeg må nok ta en reboot likevel straks.

Edit2: Nå tror jeg at jeg har funnet ut av problemet. Det er en feil i apache2.conf som jeg har glemt siden sist jeg fiklet med apache2.conf. Og det er såpass lenge siden at jeg tror feilen kan ligge der.

[art3mis]

Kode: Merk alt

67108904        /dev/shm/pulse-shm-3478956386
67108904        /dev/shm/pulse-shm-3249775763


Hva er disse? Kjapt søk tyder på pulseaudio.
Kjører selv ikke pulse. : o

Derimot tyder vel
tmpfs 506M 24K 506M 1% /dev/shm
På at dette ikke er et problem uansett..

[mrf00rk]

Jeg kan ikke fatte hva jeg skal med pulseaudio jeg heller altså. Jeg har prøvd litt ymse nå og skal se hva resultatene blir etter hvert, men takk for input

Edit: 3 ting jeg misliker sterkt på dette forumet. 1. Jeg kan ikke legge til en ny post under mitt eget innlegg. Jeg må redigere. 2. Er jeg her som innlogget bruker, ser jeg kun nyheter fra mac1.no når jeg er på linux1.no (forumet altså) 3. Når jeg er ferdig med å lage en post, så kommer jeg automatisk til lagre, og ikke til post/ok. </rant>

Så over til nyheter fra servern: I dag når jeg logget meg inn ble jeg møtt med dette:

Kode: Merk alt

-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied


Så det er tydelig noe som holder på å skrive til /dev/null og érgo fyller opp /dev med skrot. Jeg kan se på munin at den holder på å fylle seg opp igjen. Så nå gjelder det bare å finne ut hva som skriver til /dev/null og som ikke har permission til det

Edit X: Da har jeg oppdatert til 2.6.30-1 (?) og alt er tilbake til normalt igjen. Men serveren startet opp til 2.6.28. Merkelig. Og såklart må jeg rebuilde et raid array. Skjer hver gang jeg booter.