I/O-Performance-Problem mit Debian 5 unter VMware ESX 3i

Dominik Echterbruch news_de at crosslight.de
Tue Aug 4 14:44:06 CEST 2009


Jan-Benedict Glaw wrote:
>>>> Mein Problem ist, dass Dateisystemoperationen (z.B. Hinzufügen
>>>> von   Dateien zum Repository) extrem langsam sind. Hat einer von
>>>> euch schon mal Erfahrungen mit dieser Konstellation gemacht und
>>>> kann mir einen Tipp  geben, wie ich das beschleunigen kann.
>>>> Netzwerk, etc. kann ich als  Flaschenhals ausschließen, da auch
>>>> ein lokaler Checkout extrem langsam ist.
>>>>         
>>> Wenn du waehrenddessen vmstat laufen laesst - ist das io oder cpu
>>> bound das ganze?
>>>       
> `vmstat 1' liefert Sinnvolles.

OK, Asche auf mein Haupt :)
Hier also das Ergebnis, wenn man einfach mal ein paar Dateien hin und 
her kopiert (ca. 16.000 Verzeichnisse und kleine Dateien):

 vmstat 1
procs -----------memory---------- ---swap-- -----io---- -system-- 
----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy 
id wa
 0  0      0 915496 500260 333828    0    0     0    14    5   17  0  2 
97  1
 0  0      0 915488 500260 333828    0    0     0     0    4   35  0  0 
100  0
 1  0      0 910504 500260 334012    0    0    12   172   17  350  5  3 
92  0
 0  0      0 915828 500264 334108    0    0     4    60   36  468  6  4 
90  0
 2  2      0 888380 500384 361396    0    0 13780 13476  201  564  3 10 
75 12
 0  1      0 882036 500392 368184    0    0  3312   964   98  232  9 32 
34 25
 1  0      0 871288 501392 377528    0    0  4704     0  572 3183  0  4 
78 18
 0  1      0 860352 504820 384080    0    0  3040     0  703 3014  0  9 
63 28
 1  1      0 847388 507336 393172    0    0  4484  3224  815 3126  0  7 
81 13
 0  3      0 838896 508456 399912    0    0  3300  7884  753 2358  0 10 
63 27
 2  3      0 836180 508760 402432    0    0  1260  7892  547 1076  0  2 
76 22
 1  0      0 831808 509320 405744    0    0  1716 11720  465 1427  0  7 
51 43
 0  1      0 820572 510552 415264    0    0  4792  1464  687 2837  0  6 
81 13
 0  1      0 810700 511488 423572    0    0  4132  8700  759 3036  0  9 
66 25
 0  2      0 802564 512840 429604    0    0  2916  7616  845 3223  0  5 
75 20
 0  1      0 798720 513108 433740    0    0  1996  6616  594 2108  0  4 
52 43
 1  0      0 788692 513508 442404    0    0  4372  4096 1106 4526  0  5 
78 17
 1  0      0 779044 514300 450508    0    0  4080  4096  805 3498  0  7 
67 26
 0  1      0 762552 515012 465352    0    0  7496  8232  825 2613  0  5 
79 16
 1  1      0 750724 515572 476304    0    0  5404  5772  715 2294  0  6 
73 21
 0  1      0 743880 516196 481824    0    0  2852 10388  644 2213  0  5 
75 20
 0  1      0 734128 517408 489684    0    0  3824  3956  768 2733  0  6 
65 29
 1  0      0 735596 517820 497136    0    0  3656     0  890 3493  0  4 
78 18
 1  0      0 727812 518264 503796    0    0  3388  4096  845 3544  0  3 
76 21
 3  2      0 727304 518276 504140    0    0   144  3912   40  331  1 12 
68 20
 2  3      0 726412 518276 504140    0    0     0 11768   26   26  0 16  
0 84
 2  3      0 726312 518276 504140    0    0     0  4136   27   40  0  4 
51 45
 3  3      0 726288 518276 504140    0    0     0     0   15   35  0  0 
10 90
 3  3      0 726288 518276 504140    0    0     0   112   15   37  0  0 
47 53
 2  0      0 726564 518284 504348    0    0   104   556   82  250  1 12 
19 68
 1  1      0 725892 518316 505076    0    0   360     0   91  369  4 32 
51 13
 1  1      0 724924 518352 505836    0    0   412     0   96  362  4 32 
49 15
 1  1      0 724032 518384 506640    0    0   380     0   97  390  5 31 
51 14
 2  0      0 723312 518408 507376    0    0   340     0   87  447  5 28 
49 18
 1  1      0 722420 518440 508020    0    0   324  7060   94  426  4 32 
49 15
 3  0      0 722172 518456 508360    0    0   204     4   70  314  3 21 
57 18
 1  1      0 721676 518496 508944    0    0   304     0   76  381  5 30 
51 13
 1  1      0 720932 518524 509568    0    0   320     0   83  390  6 32 
49 13
 1  1      0 720188 518544 510168    0    0   284     0   73  357  5 32 
51 11
 1  2      0 719568 518568 510784    0    0   300  5056   88  334  5 36 
45 14
 1  1      0 718948 518592 511392    0    0   328     0   84  378  4 34 
49 12
 1  1      0 718204 518648 512032    0    0   308     0   82  313  4 37 
49 10
 2  0      0 717212 518748 512752    0    0   380     0   74  309  5 48 
33 15
 1  1      0 715228 518988 514412    0    0   904     0   78  366  3 28 
60  8
 0  1      0 714036 519296 514984    0    0   256  7196   60  291  4 37 
48 11
 2  0      0 713268 519536 515392    0    0   264     4   71  184  3 25 
57 16
 2  0      0 712276 519944 515836    0    0   204     0   50  298  6 50 
33 11
 1  0      0 711756 520192 516420    0    0   208     0   51  218  3 28 
65  4
 1  0      0 711764 520192 516420    0    0     0     0    2  134  4 21 
76  0
 2  0      0 711664 520192 516420    0    0     0   772   23  125  4 23 
70  3
 2  0      0 711740 520192 516420    0    0     0  4792   15  112  4 26 
70  0
 1  0      0 711764 520192 516420    0    0     0     0    3  102  4 22 
74  0
 1  0      0 711764 520192 516420    0    0     0     0    2  120  4 20 
76  0
 1  0      0 711764 520192 516420    0    0     0     0    4  123  4 22 
73  0
 0  1      0 711464 520192 516420    0    0     0  6060   14  132  3 20 
76  0
 1  0      0 711692 520192 516420    0    0     0     4   12   84  3 31 
62  3
 1  0      0 711764 520192 516420    0    0     0     0    2  135  4 20 
76  0
 1  0      0 711764 520192 516420    0    0     0     0    3   86  3 23 
73  0
 1  0      0 711764 520192 516420    0    0     0     0    2  115  3 20 
76  0
 0  1      0 711664 520192 516420    0    0     0  5160   16  133  4 23 
72  0

Und das Ergebnis für eine größere Datei (ca. 100 MB):

# vmstat 1
procs -----------memory---------- ---swap-- -----io---- -system-- 
----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy 
id wa
 3  0      0 264900 524472 982940    0    0     1    15    5   17  0  2 
97  1
 1  0      0 264496 524472 982940    0    0     0 27328   50   83  1 16 
73 11
 2  0      0 261856 524476 985012    0    0     0     0   22  139  7 42 
51  0
 2  0      0 259700 524476 986928    0    0     0     0  135  347  7 44 
49  0
 2  0      0 255728 524488 989868    0    0     0  8472   52   86  4 52 
44  0
 3  0      0 253848 524492 992844    0    0     0 32756  185   61  1 52 
47  0
 1  0      0 251444 524496 995480    0    0     0  1828  200  276  2 32 
66  0
 1  0      0 248640 524496 998260    0    0     0  3932   37   45  0 31 
69  0
 2  0      0 246036 524500 1000876    0    0     0  3356   18   30  0 26 
74  0
 3  0      0 243432 524504 1003564    0    0     0  9732   55   46  0 31 
69  0
 1  0      0 240580 524504 1006476    0    0     0 15028   90   34  0 37 
63  0
 2  0      0 237728 524508 1009364    0    0     0  6484   39   48  0 29 
71  0
 1  0      0 235000 524512 1012108    0    0     0  5928   42   30  0 31 
69  0
 2  0      0 232148 524512 1014636    0    0     0  4124   36   52  0 28 
72  0
 1  0      0 229544 524516 1017608    0    0     0  4156   20   48  0 27 
72  1
 1  0      0 226816 524520 1020432    0    0     0     0    3   23  0 25 
75  0
 1  0      0 224212 524520 1023008    0    0     0  4144   24   25  0 27 
73  0
 3  0      0 221732 524524 1025364    0    0     0  2812   20   32  0 24 
76  0
 1  0      0 218880 524528 1028224    0    0     0  1332   18   31  0 27 
73  0
 1  0      0 216772 524528 1030448    0    0     0  4744   37   53  0 27 
72  0
 1  0      0 213920 524532 1033220    0    0     0     0    4   25  0 26 
74  0
 1  0      0 211192 524532 1036040    0    0     0  3584   27   40  0 28 
72  0
 1  0      0 208712 524536 1038684    0    0     0  4144   26   36  0 27 
73  0
 1  0      0 205860 524540 1041384    0    0     0     0    3   24  0 25 
75  0
 1  0      0 203008 524540 1044172    0    0     0  6032   45   70  0 29 
70  1
 1  0      0 200280 524544 1046984    0    0     0  2272   25   36  2 27 
72  0
 3  0      0 197428 524548 1049800    0    0     0  1656    9   33  0 25 
75  0
 1  0      0 194576 524552 1052616    0    0     0  2488   23   35  0 28 
72  0
 1  0      0 191724 524552 1055508    0    0     0  4144   28   37  0 28 
72  0
 1  0      0 188872 524556 1058316    0    0     0  4188   27   37  0 27 
73  0
 1  0      0 186020 524560 1061224    0    0     0     0    2   24  0 26 
74  0
 1  0      0 182920 524564 1064172    0    0     0  4156   27   36  0 28 
72  0
 1  0      0 180192 524568 1066892    0    0     0  4144   36   45  0 27 
73  0
 1  0      0 177340 524572 1069700    0    0     0     0   11   40  0 25 
75  0
 1  0      0 174612 524572 1072692    0    0     0  5948   43   57  0 28 
71  1
 1  0      0 169444 524580 1078128    0    0     0  2380   23   36  0 27 
72  0
 2  0      0 159940 524592 1087380    0    0     4 10592   37   53  1 27 
71  2
 0  0      0 159940 524592 1087380    0    0     0  1840   15   40  1  3 
97  0
 0  0      0 159864 524592 1087392    0    0     0     0    2   30  0  0 
100  0
 2  1      0 159864 524592 1087392    0    0     0  4168   20   37  0  6 
94  0

> Wenn Du einfach nur `vmstat' aufrufst,
> bekommst Du den Durchschnitt seit Systemstart... Und was das angeht
> ist Dein System hoffnungslos oversized :)
>   

Ja, kann man sagen. Deswegen hatten mich die Performance-Probleme so 
verwundert. Zum Glück ist es ja nur eine VM, der man auch problemlos mal 
Ressourcen klauen kann. Aber solange nichts anderes drauf läuft...

Grüße,
Dominik
-- 
Wo kämen wir hin, wenn alle sagten, wo kämen wir hin, und niemand
ginge, um einmal zu schauen, wohin man käme, wenn man ginge.
Autor: Kurt Marti (http://de.wikiquote.org/wiki/Kurt_Marti)




More information about the Linux mailing list