Re: [RFC] virtio: use mandatory barriers for remote processor vdevs
From: Amos Kong
Date: Sun Dec 18 2011 - 22:19:53 EST
On 19/12/11 10:19, Amos Kong wrote:
On 12/12/11 13:12, Rusty Russell wrote:
On Mon, 12 Dec 2011 11:06:53 +0800, Amos Kong<akong@xxxxxxxxxx> wrote:
On 12/12/11 06:27, Benjamin Herrenschmidt wrote:
On Sun, 2011-12-11 at 14:25 +0200, Michael S. Tsirkin wrote:
Forwarding some results by Amos, who run multiple netperf streams in
parallel, from an external box to the guest. TCP_STREAM results were
noisy. This could be due to buffering done by TCP, where packet size
varies even as message size is constant.
TCP_RR results were consistent. In this benchmark, after switching
to mandatory barriers, CPU utilization increased by up to 35% while
throughput went down by up to 14%. the normalized throughput/cpu
regressed consistently, between 7 and 35%
The "fix" applied was simply this:
What machine& processor was this ?
pined guest memory to numa node 1
Please try this patch. How much does the branch cost us?
(Compiles, untested).
Thanks,
Rusty.
From: Rusty Russell<rusty@xxxxxxxxxxxxxxx>
Subject: virtio: harsher barriers for virtio-mmio.
We were cheating with our barriers; using the smp ones rather than the
real device ones. That was fine, until virtio-mmio came along, which
could be talking to a real device (a non-SMP CPU).
Unfortunately, just putting back the real barriers (reverting
d57ed95d) causes a performance regression on virtio-pci. In
particular, Amos reports netbench's TCP_RR over virtio_net CPU
utilization increased up to 35% while throughput went down by up to
14%.
By comparison, this branch costs us???
Reference: https://lkml.org/lkml/2011/12/11/22
Signed-off-by: Rusty Russell<rusty@xxxxxxxxxxxxxxx>
---
drivers/lguest/lguest_device.c | 10 ++++++----
drivers/s390/kvm/kvm_virtio.c | 2 +-
drivers/virtio/virtio_mmio.c | 7 ++++---
drivers/virtio/virtio_pci.c | 4 ++--
drivers/virtio/virtio_ring.c | 34 +++++++++++++++++++++-------------
include/linux/virtio_ring.h | 1 +
tools/virtio/linux/virtio.h | 1 +
tools/virtio/virtio_test.c | 3 ++-
8 files changed, 38 insertions(+), 24 deletions(-)
Hi all,
I tested with the same environment and scenarios.
tested one scenarios for three times and compute the average for more
precision.
Thanks, Amos
--------- compare results -----------
Mon Dec 19 09:51:09 2011
1 - avg-old.netperf.exhost_guest.txt
2 - avg-fixed.netperf.exhost_guest.txt
======
TCP_STREAM
sessions| size|throughput| cpu| normalize| #tx-pkts| #rx-pkts| #tx-byts|
#rx-byts| #re-trans| #tx-intr| #rx-intr| #io_exit| #irq_inj|#tpkt/#exit|
#rpkt/#irq
1 1| 64| 1073.54| 10.50| 102| 0| 31| 0| 1612| 0| 16| 487641| 489753|
504764| 0.00| 0.00
2 1| 64| 1079.44| 10.29| 104| 0| 30| 0| 1594| 0| 17| 487156| 488828|
504411| 0.00| 0.00
% | 0.0| +0.5| -2.0| +2.0| 0| -3.2| 0| -1.1| 0| +6.2| -0.1| -0.2| -0.1|
The format is broken in webpage, attached the result file.
it's also available here: http://amosk.info/download/rusty-fix-perf.txt
--------- compare results -----------
Mon Dec 19 09:51:09 2011
1 - avg-old.netperf.exhost_guest.txt
2 - avg-fixed.netperf.exhost_guest.txt
======
TCP_STREAM
sessions| size|throughput| cpu| normalize| #tx-pkts| #rx-pkts| #tx-byts| #rx-byts| #re-trans| #tx-intr| #rx-intr| #io_exit| #irq_inj|#tpkt/#exit| #rpkt/#irq
1 1| 64| 1073.54| 10.50| 102| 0| 31| 0| 1612| 0| 16| 487641| 489753| 504764| 0.00| 0.00
2 1| 64| 1079.44| 10.29| 104| 0| 30| 0| 1594| 0| 17| 487156| 488828| 504411| 0.00| 0.00
% | 0.0| +0.5| -2.0| +2.0| 0| -3.2| 0| -1.1| 0| +6.2| -0.1| -0.2| -0.1| 0| 0
1 2| 64| 2141.12| 15.72| 136| 0| 33| 0| 1744| 0| 34| 873777| 972303| 928926| 0.00| 0.00
2 2| 64| 2140.88| 15.64| 137| 0| 33| 0| 1744| 0| 34| 926588| 942841| 974095| 0.00| 0.00
% | 0.0| -0.0| -0.5| +0.7| 0| 0.0| 0| 0.0| 0| 0.0| +6.0| -3.0| +4.9| 0| 0
1 4| 64| 4076.80| 19.82| 205| 0| 30| 0| 1577| 0| 67| 1422282| 1166425| 1539219| 0.00| 0.00
2 4| 64| 4094.32| 20.70| 197| 0| 31| 0| 1612| 0| 68| 1704330| 1314077| 1833394| 0.00| 0.00
% | 0.0| +0.4| +4.4| -3.9| 0| +3.3| 0| +2.2| 0| +1.5| +19.8| +12.7| +19.1| 0| 0
1 1| 256| 2867.48| 13.44| 213| 0| 32| 0| 1726| 0| 14| 666430| 694922| 690730| 0.00| 0.00
2 1| 256| 2874.20| 12.71| 226| 0| 32| 0| 1709| 0| 14| 697960| 740407| 721807| 0.00| 0.00
% | 0.0| +0.2| -5.4| +6.1| 0| 0.0| 0| -1.0| 0| 0.0| +4.7| +6.5| +4.5| 0| 0
1 2| 256| 5642.82| 17.61| 320| 0| 30| 0| 1594| 0| 30| 1226861| 1236081| 1268562| 0.00| 0.00
2 2| 256| 5661.06| 17.41| 326| 0| 30| 0| 1594| 0| 29| 1175696| 1143490| 1221528| 0.00| 0.00
% | 0.0| +0.3| -1.1| +1.9| 0| 0.0| 0| 0.0| 0| -3.3| -4.2| -7.5| -3.7| 0| 0
1 4| 256| 9404.27| 23.55| 399| 0| 33| 0| 1744| 0| 37| 1692245| 659975| 1765103| 0.00| 0.00
2 4| 256| 8761.11| 23.18| 376| 0| 32| 0| 1726| 0| 36| 1699382| 418992| 1870804| 0.00| 0.00
% | 0.0| -6.8| -1.6| -5.8| 0| -3.0| 0| -1.0| 0| -2.7| +0.4| -36.5| +6.0| 0| 0
1 1| 512| 3803.66| 14.20| 267| 0| 30| 0| 1594| 0| 14| 693992| 750078| 721107| 0.00| 0.00
2 1| 512| 3838.02| 15.47| 248| 0| 31| 0| 1612| 0| 15| 811709| 773505| 838788| 0.00| 0.00
% | 0.0| +0.9| +8.9| -7.1| 0| +3.3| 0| +1.1| 0| +7.1| +17.0| +3.1| +16.3| 0| 0
1 2| 512| 8606.11| 19.34| 444| 0| 32| 0| 1709| 0| 29| 1264624| 647652| 1309740| 0.00| 0.00
2 2| 512| 8127.80| 18.93| 428| 0| 32| 0| 1726| 0| 28| 1216606| 1179269| 1266260| 0.00| 0.00
% | 0.0| -5.6| -2.1| -3.6| 0| 0.0| 0| +1.0| 0| -3.4| -3.8| +82.1| -3.3| 0| 0
1 4| 512| 9409.41| 22.88| 413| 0| 30| 0| 1577| 0| 35| 1592587| 1072862| 1746787| 0.00| 0.00
2 4| 512| 9217.34| 23.05| 400| 0| 30| 0| 1594| 0| 34| 1596515| 513742| 1831538| 0.00| 0.00
% | 0.0| -2.0| +0.7| -3.1| 0| 0.0| 0| +1.1| 0| -2.9| +0.2| -52.1| +4.9| 0| 0
1 1| 1024| 4389.75| 14.62| 303| 0| 32| 0| 1726| 0| 14| 663417| 611555| 689028| 0.00| 0.00
2 1| 1024| 4390.44| 13.66| 321| 0| 32| 0| 1726| 0| 13| 609836| 556090| 634511| 0.00| 0.00
% | 0.0| +0.0| -6.6| +5.9| 0| 0.0| 0| 0.0| 0| -7.1| -8.1| -9.1| -7.9| 0| 0
1 2| 1024| 9046.18| 19.63| 460| 0| 30| 0| 1594| 0| 28| 1206853| 1054653| 1256203| 0.00| 0.00
2 2| 1024| 9027.54| 20.15| 447| 0| 30| 0| 1577| 0| 27| 1179555| 884408| 1226843| 0.00| 0.00
% | 0.0| -0.2| +2.6| -2.8| 0| 0.0| 0| -1.1| 0| -3.6| -2.3| -16.1| -2.3| 0| 0
1 4| 1024| 9410.41| 22.01| 427| 0| 32| 0| 1726| 0| 36| 1734433| 887190| 1852486| 0.00| 0.00
2 4| 1024| 9409.11| 23.18| 405| 0| 32| 0| 1726| 0| 34| 1695359| 625268| 1803599| 0.00| 0.00
% | 0.0| -0.0| +5.3| -5.2| 0| 0.0| 0| 0.0| 0| -5.6| -2.3| -29.5| -2.6| 0| 0
TCP_MAERTS
sessions| size|throughput| cpu| normalize| #tx-pkts| #rx-pkts| #tx-byts| #rx-byts| #re-trans| #tx-intr| #rx-intr| #io_exit| #irq_inj|#tpkt/#exit| #rpkt/#irq
1 1| 64| 1056.13| 17.51| 59| 0| 30| 0| 1594| 3| 86| 476098| 4780186| 538158| 0.00| 0.00
2 1| 64| 1065.51| 17.64| 60| 0| 30| 0| 1594| 3| 87| 476836| 4823602| 538860| 0.00| 0.00
% | 0.0| +0.9| +0.7| +1.7| 0| 0.0| 0| 0.0| 0.0| +1.2| +0.2| +0.9| +0.1| 0| 0
1 2| 64| 2472.80| 32.18| 76| 0| 32| 0| 1709| 2| 199| 479119| 2089931| 600119| 0.00| 0.00
2 2| 64| 2468.76| 32.28| 76| 0| 33| 0| 1744| 1| 199| 479372| 2179342| 600328| 0.00| 0.00
% | 0.0| -0.2| +0.3| 0.0| 0| +3.1| 0| +2.0| -50.0| 0.0| +0.1| +4.3| +0.0| 0| 0
1 4| 64| 2453.22| 32.20| 75| 0| 31| 0| 1612| 2| 198| 479223| 2175801| 600081| 0.00| 0.00
2 4| 64| 2465.68| 32.30| 76| 0| 30| 0| 1594| 3| 200| 479404| 2108293| 600252| 0.00| 0.00
% | 0.0| +0.5| +0.3| +1.3| 0| -3.2| 0| -1.1| +50.0| +1.0| +0.0| -3.1| +0.0| 0| 0
1 1| 256| 3608.37| 24.59| 146| 0| 32| 0| 1726| 2| 277| 88346| 108310| 150637| 0.00| 0.00
2 1| 256| 3611.12| 24.95| 144| 0| 32| 0| 1709| 0| 281| 83319| 64354| 145511| 0.00| 0.00
% | 0.0| +0.1| +1.5| -1.4| 0| 0.0| 0| -1.0| -100.0| +1.4| -5.7| -40.6| -3.4| 0| 0
1 2| 256| 7373.32| 26.83| 274| 0| 31| 0| 1612| 0| 4185| 278932| 264031| 377267| 0.00| 0.00
2 2| 256| 7460.03| 26.93| 276| 0| 30| 0| 1594| 1| 5913| 270840| 246165| 371999| 0.00| 0.00
% | 0.0| +1.2| +0.4| +0.7| 0| -3.2| 0| -1.1| 0| +41.3| -2.9| -6.8| -1.4| 0| 0
1 4| 256| 9322.66| 29.73| 313| 0| 32| 0| 1709| 848| 3041| 363114| 329308| 482586| 0.00| 0.00
2 4| 256| 9365.52| 29.59| 316| 0| 33| 0| 1744| 414| 2884| 371485| 339191| 491366| 0.00| 0.00
% | 0.0| +0.5| -0.5| +1.0| 0| +3.1| 0| +2.0| -51.2| -5.2| +2.3| +3.0| +1.8| 0| 0
1 1| 512| 9360.25| 17.20| 543| 0| 30| 0| 1577| 0| 387| 438621| 408062| 499989| 0.00| 0.00
2 1| 512| 8899.37| 18.17| 495| 0| 30| 0| 1594| 0| 5049| 393341| 371545| 459397| 0.00| 0.00
% | 0.0| -4.9| +5.6| -8.8| 0| 0.0| 0| +1.1| 0| +1204.7| -10.3| -8.9| -8.1| 0| 0
1 2| 512| 8713.11| 20.77| 420| 0| 32| 0| 1726| 0| 11227| 296157| 246495| 371632| 0.00| 0.00
2 2| 512| 8686.31| 20.72| 421| 0| 32| 0| 1709| 0| 11002| 296608| 246597| 371797| 0.00| 0.00
% | 0.0| -0.3| -0.2| +0.2| 0| 0.0| 0| -1.0| 0| -2.0| +0.2| +0.0| +0.0| 0| 0
1 4| 512| 8780.40| 22.72| 386| 0| 30| 0| 1594| 0| 10337| 303619| 249822| 385457| 0.00| 0.00
2 4| 512| 8858.51| 22.66| 390| 0| 30| 0| 1577| 0| 9968| 301847| 246543| 382121| 0.00| 0.00
% | 0.0| +0.9| -0.3| +1.0| 0| 0.0| 0| -1.1| 0| -3.6| -0.6| -1.3| -0.9| 0| 0
1 1| 1024| 9387.09| 16.43| 571| 0| 32| 0| 1726| 0| 84| 452351| 429483| 504022| 0.00| 0.00
2 1| 1024| 9388.90| 16.51| 568| 0| 32| 0| 1726| 2| 76| 446994| 422489| 499025| 0.00| 0.00
% | 0.0| +0.0| +0.5| -0.5| 0| 0.0| 0| 0.0| 0| -9.5| -1.2| -1.6| -1.0| 0| 0
1 2| 1024| 9361.43| 17.26| 542| 0| 30| 0| 1594| 5| 647| 388626| 358303| 442125| 0.00| 0.00
2 2| 1024| 9364.78| 17.25| 542| 0| 31| 0| 1612| 35| 554| 389326| 360169| 442343| 0.00| 0.00
% | 0.0| +0.0| -0.1| 0.0| 0| +3.3| 0| +1.1| +600.0| -14.4| +0.2| +0.5| +0.0| 0| 0
1 4| 1024| 9381.57| 18.35| 510| 0| 32| 0| 1726| 1189| 648| 405900| 376269| 459845| 0.00| 0.00
2 4| 1024| 9393.48| 18.27| 513| 0| 32| 0| 1726| 1754| 610| 402132| 373768| 455629| 0.00| 0.00
% | 0.0| +0.1| -0.4| +0.6| 0| 0.0| 0| 0.0| +47.5| -5.9| -0.9| -0.7| -0.9| 0| 0
TCP_RR
sessions| size|throughput| cpu| normalize| #tx-pkts| #rx-pkts| #tx-byts| #rx-byts| #re-trans| #tx-intr| #rx-intr| #io_exit| #irq_inj|#tpkt/#exit| #rpkt/#irq
1 50| 64| 10903.70| 8.03| 1382| 0| 32| 0| 1698| 0| 9| 654298| 654362| 665532| 0.00| 0.00
2 50| 64| 10880.50| 7.40| 1488| 0| 32| 0| 1698| 0| 10| 652907| 652973| 667042| 0.00| 0.00
% | 0.0| -0.2| -7.8| +7.7| 0| 0.0| 0| 0.0| 0| +11.1| -0.2| -0.2| +0.2| 0| 0
1 100| 64| 10953.00| 8.40| 1332| 0| 34| 0| 1830| 0| 10| 657257| 657325| 667088| 0.00| 0.00
2 100| 64| 10882.78| 7.67| 1439| 0| 34| 0| 1830| 0| 9| 653044| 653110| 668883| 0.00| 0.00
% | 0.0| -0.6| -8.7| +8.0| 0| 0.0| 0| 0.0| 0| -10.0| -0.6| -0.6| +0.3| 0| 0
1 250| 64| 10902.66| 8.57| 1300| 0| 33| 0| 1716| 0| 10| 654235| 654308| 665518| 0.00| 0.00
2 250| 64| 10866.79| 7.58| 1449| 0| 32| 0| 1664| 0| 10| 652083| 652155| 666869| 0.00| 0.00
% | 0.0| -0.3| -11.6| +11.5| 0| -3.0| 0| -3.0| 0| 0.0| -0.3| -0.3| +0.2| 0| 0
1 500| 64| 10924.34| 7.25| 1509| 0| 34| 0| 1830| 0| 10| 655536| 655619| 665776| 0.00| 0.00
2 500| 64| 10927.52| 6.50| 1684| 0| 34| 0| 1813| 0| 10| 655726| 655803| 668527| 0.00| 0.00
% | 0.0| +0.0| -10.3| +11.6| 0| 0.0| 0| -0.9| 0| 0.0| +0.0| +0.0| +0.4| 0| 0
1 50| 256| 10407.35| 9.38| 1112| 0| 32| 0| 1681| 0| 9| 624516| 624581| 639159| 0.00| 0.00
2 50| 256| 10422.60| 9.45| 1108| 0| 33| 0| 1716| 0| 9| 625432| 625498| 641343| 0.00| 0.00
% | 0.0| +0.1| +0.7| -0.4| 0| +3.1| 0| +2.1| 0| 0.0| +0.1| +0.1| +0.3| 0| 0
1 100| 256| 10404.30| 8.99| 1159| 0| 34| 0| 1830| 0| 9| 624335| 624400| 637357| 0.00| 0.00
2 100| 256| 10442.84| 9.57| 1093| 0| 35| 0| 1848| 0| 9| 626650| 626714| 639017| 0.00| 0.00
% | 0.0| +0.4| +6.5| -5.7| 0| +2.9| 0| +1.0| 0| 0.0| +0.4| +0.4| +0.3| 0| 0
1 250| 256| 10427.71| 9.10| 1157| 0| 32| 0| 1698| 0| 9| 625738| 625822| 641221| 0.00| 0.00
2 250| 256| 10464.71| 9.69| 1085| 0| 32| 0| 1698| 0| 9| 627960| 628040| 640680| 0.00| 0.00
% | 0.0| +0.4| +6.5| -6.2| 0| 0.0| 0| 0.0| 0| 0.0| +0.4| +0.4| -0.1| 0| 0
1 500| 256| 10442.18| 8.65| 1217| 0| 34| 0| 1830| 0| 10| 626608| 626675| 640081| 0.00| 0.00
2 500| 256| 10463.74| 9.63| 1089| 0| 34| 0| 1813| 0| 9| 627904| 627967| 643152| 0.00| 0.00
% | 0.0| +0.2| +11.3| -10.5| 0| 0.0| 0| -0.9| 0| -10.0| +0.2| +0.2| +0.5| 0| 0
1 50| 512| 8505.70| 7.20| 1191| 0| 33| 0| 1716| 0| 7| 510418| 510486| 524904| 0.00| 0.00
2 50| 512| 8563.34| 7.24| 1185| 0| 32| 0| 1664| 0| 8| 513877| 513940| 526294| 0.00| 0.00
% | 0.0| +0.7| +0.6| -0.5| 0| -3.0| 0| -3.0| 0| +14.3| +0.7| +0.7| +0.3| 0| 0
1 100| 512| 8509.97| 7.00| 1226| 0| 34| 0| 1830| 0| 7| 510674| 510756| 525205| 0.00| 0.00
2 100| 512| 8555.22| 7.52| 1144| 0| 34| 0| 1830| 0| 7| 513389| 513471| 526609| 0.00| 0.00
% | 0.0| +0.5| +7.4| -6.7| 0| 0.0| 0| 0.0| 0| 0.0| +0.5| +0.5| +0.3| 0| 0
1 250| 512| 8507.35| 7.21| 1183| 0| 32| 0| 1681| 0| 7| 510518| 510579| 524294| 0.00| 0.00
2 250| 512| 8578.13| 7.01| 1223| 0| 33| 0| 1716| 0| 8| 514765| 514829| 526481| 0.00| 0.00
% | 0.0| +0.8| -2.8| +3.4| 0| +3.1| 0| +2.1| 0| +14.3| +0.8| +0.8| +0.4| 0| 0
1 500| 512| 8521.68| 6.54| 1302| 0| 34| 0| 1813| 0| 8| 511375| 511443| 523357| 0.00| 0.00
2 500| 512| 8573.17| 6.94| 1235| 0| 34| 0| 1830| 0| 7| 514467| 514533| 526131| 0.00| 0.00
% | 0.0| +0.6| +6.1| -5.1| 0| 0.0| 0| +0.9| 0| -12.5| +0.6| +0.6| +0.5| 0| 0
1 50| 1024| 8150.01| 7.69| 1060| 0| 32| 0| 1681| 0| 7| 489075| 489155| 503136| 0.00| 0.00
2 50| 1024| 8129.35| 7.65| 1062| 0| 34| 0| 1804| 0| 7| 487841| 487915| 502061| 0.00| 0.00
% | 0.0| -0.3| -0.5| +0.2| 0| +6.2| 0| +7.3| 0| 0.0| -0.3| -0.3| -0.2| 0| 0
1 100| 1024| 8166.06| 7.53| 1083| 0| 34| 0| 1804| 0| 7| 490039| 490104| 502990| 0.00| 0.00
2 100| 1024| 8118.23| 7.77| 1044| 0| 33| 0| 1725| 0| 7| 487171| 487236| 501939| 0.00| 0.00
% | 0.0| -0.6| +3.2| -3.6| 0| -2.9| 0| -4.4| 0| 0.0| -0.6| -0.6| -0.2| 0| 0
1 250| 1024| 8175.35| 7.58| 1079| 0| 35| 0| 1848| 0| 7| 490597| 490657| 503641| 0.00| 0.00
2 250| 1024| 8146.63| 7.59| 1072| 0| 34| 0| 1813| 0| 7| 488874| 488939| 502010| 0.00| 0.00
% | 0.0| -0.4| +0.1| -0.6| 0| -2.9| 0| -1.9| 0| 0.0| -0.4| -0.4| -0.3| 0| 0
1 500| 1024| 8182.51| 7.61| 1075| 0| 32| 0| 1698| 0| 7| 491028| 491095| 504222| 0.00| 0.00
2 500| 1024| 8157.39| 7.58| 1075| 0| 33| 0| 1716| 0| 7| 489521| 489593| 502368| 0.00| 0.00
% | 0.0| -0.3| -0.4| 0.0| 0| +3.1| 0| +1.1| 0| 0.0| -0.3| -0.3| -0.4| 0| 0
Mon Dec 19 09:51:09 2011
1 - avg-old.netperf.host_guest.txt
2 - avg-fixed.netperf.host_guest.txt
======
TCP_STREAM
sessions| size|throughput| cpu| normalize| #tx-pkts| #rx-pkts| #tx-byts| #rx-byts| #re-trans| #tx-intr| #rx-intr| #io_exit| #irq_inj|#tpkt/#exit| #rpkt/#irq
1 1| 64| 715.76| 28.44| 24| 0| 31| 0| 1629| 0| 36| 3206862| 1733540| 3245171| 0.00| 0.00
2 1| 64| 714.82| 28.44| 25| 0| 31| 0| 1612| 0| 36| 3204256| 1709508| 3242450| 0.00| 0.00
% | 0.0| -0.1| 0.0| +4.2| 0| 0.0| 0| -1.0| 0| 0.0| -0.1| -1.4| -0.1| 0| 0
1 2| 64| 1449.31| 41.23| 35| 0| 33| 0| 1744| 0| 66| 2764635| 1667527| 2815591| 0.00| 0.00
2 2| 64| 1442.92| 41.32| 34| 0| 32| 0| 1709| 0| 66| 2751461| 1659498| 2799277| 0.00| 0.00
% | 0.0| -0.4| +0.2| -2.9| 0| -3.0| 0| -2.0| 0| 0.0| -0.5| -0.5| -0.6| 0| 0
1 4| 64| 2671.25| 48.95| 54| 0| 30| 0| 1577| 0| 47| 914085| 289771| 947054| 0.00| 0.00
2 4| 64| 2652.68| 48.20| 54| 0| 30| 0| 1594| 0| 46| 882300| 293273| 914249| 0.00| 0.00
% | 0.0| -0.7| -1.5| 0.0| 0| 0.0| 0| +1.1| 0| -2.1| -3.5| +1.2| -3.5| 0| 0
1 1| 256| 1478.61| 29.34| 50| 0| 32| 0| 1709| 0| 64| 3502384| 1541681| 3545371| 0.00| 0.00
2 1| 256| 1481.38| 29.27| 50| 0| 32| 0| 1726| 0| 64| 3485623| 1526105| 3528343| 0.00| 0.00
% | 0.0| +0.2| -0.2| 0.0| 0| 0.0| 0| +1.0| 0| 0.0| -0.5| -1.0| -0.5| 0| 0
1 2| 256| 3095.93| 42.31| 72| 0| 31| 0| 1612| 0| 123| 1521019| 466426| 1637722| 0.00| 0.00
2 2| 256| 3098.16| 42.03| 73| 0| 30| 0| 1594| 0| 123| 1519458| 472632| 1632462| 0.00| 0.00
% | 0.0| +0.1| -0.7| +1.4| 0| -3.2| 0| -1.1| 0| 0.0| -0.1| +1.3| -0.3| 0| 0
1 4| 256| 6553.60| 38.44| 170| 0| 33| 0| 1761| 0| 38| 1343193| 237604| 1402385| 0.00| 0.00
2 4| 256| 6649.37| 38.34| 172| 0| 32| 0| 1726| 0| 32| 1343770| 236320| 1400875| 0.00| 0.00
% | 0.0| +1.5| -0.3| +1.2| 0| -3.0| 0| -2.0| 0| -15.8| +0.0| -0.5| -0.1| 0| 0
1 1| 512| 1818.40| 29.28| 61| 0| 31| 0| 1646| 0| 76| 3326887| 1491961| 3371189| 0.00| 0.00
2 1| 512| 1822.74| 29.45| 61| 0| 30| 0| 1577| 0| 76| 3309934| 1470715| 3352921| 0.00| 0.00
% | 0.0| +0.2| +0.6| 0.0| 0| -3.2| 0| -4.2| 0| 0.0| -0.5| -1.4| -0.5| 0| 0
1 2| 512| 3931.72| 43.51| 89| 0| 33| 0| 1761| 0| 137| 1148331| 301194| 1270351| 0.00| 0.00
2 2| 512| 3926.16| 43.45| 90| 0| 32| 0| 1726| 0| 135| 1166280| 306110| 1288869| 0.00| 0.00
% | 0.0| -0.1| -0.1| +1.1| 0| -3.0| 0| -2.0| 0| -1.5| +1.6| +1.6| +1.5| 0| 0
1 4| 512| 8634.49| 40.69| 211| 0| 31| 0| 1612| 0| 53| 1869998| 353856| 1948593| 0.00| 0.00
2 4| 512| 9137.12| 40.77| 223| 0| 30| 0| 1594| 0| 48| 1879574| 362851| 1959044| 0.00| 0.00
% | 0.0| +5.8| +0.2| +5.7| 0| -3.2| 0| -1.1| 0| -9.4| +0.5| +2.5| +0.5| 0| 0
1 1| 1024| 2042.67| 29.50| 68| 0| 33| 0| 1778| 0| 84| 3087032| 1309160| 3130736| 0.00| 0.00
2 1| 1024| 2033.24| 29.51| 68| 0| 32| 0| 1726| 0| 83| 3082898| 1295936| 3125229| 0.00| 0.00
% | 0.0| -0.5| +0.0| 0.0| 0| -3.0| 0| -2.9| 0| -1.2| -0.1| -1.0| -0.2| 0| 0
1 2| 1024| 7703.26| 39.58| 194| 0| 32| 0| 1673| 0| 65| 2522172| 663302| 2684835| 0.00| 0.00
2 2| 1024| 7657.00| 39.27| 194| 0| 30| 0| 1594| 0| 62| 2607281| 698035| 2755198| 0.00| 0.00
% | 0.0| -0.6| -0.8| 0.0| 0| -6.2| 0| -4.7| 0| -4.6| +3.4| +5.2| +2.6| 0| 0
1 4| 1024| 11814.84| 39.38| 299| 0| 32| 0| 1700| 0| 28| 2510318| 576071| 2596631| 0.00| 0.00
2 4| 1024| 12871.76| 38.93| 330| 0| 32| 0| 1726| 0| 25| 2232437| 632785| 2316035| 0.00| 0.00
% | 0.0| +8.9| -1.1| +10.4| 0| 0.0| 0| +1.5| 0| -10.7| -11.1| +9.8| -10.8| 0| 0
TCP_MAERTS
sessions| size|throughput| cpu| normalize| #tx-pkts| #rx-pkts| #tx-byts| #rx-byts| #re-trans| #tx-intr| #rx-intr| #io_exit| #irq_inj|#tpkt/#exit| #rpkt/#irq
1 1| 64| 706.98| 26.25| 26| 0| 31| 0| 1656| 0| 80| 2630204| 4185330| 2692397| 0.00| 0.00
2 1| 64| 767.45| 27.78| 27| 0| 30| 0| 1594| 0| 85| 2626694| 4317273| 2688799| 0.00| 0.00
% | 0.0| +8.6| +5.8| +3.8| 0| -3.2| 0| -3.7| 0| +6.2| -0.1| +3.2| -0.1| 0| 0
1 2| 64| 2644.57| 42.60| 61| 0| 32| 0| 1700| 0| 34863| 49057| 16791| 204805| 0.00| 0.00
2 2| 64| 2721.19| 42.69| 63| 0| 32| 0| 1709| 0| 42365| 52739| 20094| 215895| 0.00| 0.00
% | 0.0| +2.9| +0.2| +3.3| 0| 0.0| 0| +0.5| 0| +21.5| +7.5| +19.7| +5.4| 0| 0
1 4| 64| 2756.40| 42.69| 64| 0| 32| 0| 1708| 0| 52043| 47976| 12694| 220732| 0.00| 0.00
2 4| 64| 2709.19| 42.79| 62| 0| 30| 0| 1594| 0| 50144| 47275| 12743| 218074| 0.00| 0.00
% | 0.0| -1.7| +0.2| -3.1| 0| -6.2| 0| -6.7| 0| -3.6| -1.5| +0.4| -1.2| 0| 0
1 1| 256| 3785.63| 32.34| 116| 0| 33| 0| 1734| 0| 36642| 58940| 1187| 157652| 0.00| 0.00
2 1| 256| 3593.17| 32.90| 108| 0| 32| 0| 1726| 0| 33179| 54980| 1130| 150168| 0.00| 0.00
% | 0.0| -5.1| +1.7| -6.9| 0| -3.0| 0| -0.5| 0| -9.5| -6.7| -4.8| -4.7| 0| 0
1 2| 256| 8316.26| 40.45| 205| 0| 32| 0| 1673| 0| 28302| 114835| 1655| 251137| 0.00| 0.00
2 2| 256| 8390.41| 41.17| 203| 0| 30| 0| 1594| 0| 31222| 115372| 1696| 257151| 0.00| 0.00
% | 0.0| +0.9| +1.8| -1.0| 0| -6.2| 0| -4.7| 0| +10.3| +0.5| +2.5| +2.4| 0| 0
1 4| 256| 9672.49| 42.40| 227| 0| 33| 0| 1761| 0| 30045| 132027| 3059| 283491| 0.00| 0.00
2 4| 256| 9741.71| 42.57| 228| 0| 32| 0| 1726| 6| 28875| 132125| 1999| 283036| 0.00| 0.00
% | 0.0| +0.7| +0.4| +0.4| 0| -3.0| 0| -2.0| 0| -3.9| +0.1| -34.7| -0.2| 0| 0
1 1| 512| 6052.41| 32.23| 187| 0| 31| 0| 1612| 0| 44681| 86084| 2592| 187465| 0.00| 0.00
2 1| 512| 6267.37| 32.51| 192| 0| 30| 0| 1577| 0| 45278| 88449| 2708| 191374| 0.00| 0.00
% | 0.0| +3.6| +0.9| +2.7| 0| -3.2| 0| -2.2| 0| +1.3| +2.7| +4.5| +2.1| 0| 0
1 2| 512| 12714.52| 38.27| 331| 0| 33| 0| 1744| 0| 24843| 169170| 2381| 292210| 0.00| 0.00
2 2| 512| 11341.65| 37.30| 303| 0| 32| 0| 1726| 14| 27393| 152465| 2980| 270740| 0.00| 0.00
% | 0.0| -10.8| -2.5| -8.5| 0| -3.0| 0| -1.0| 0| +10.3| -9.9| +25.2| -7.3| 0| 0
1 4| 512| 16127.03| 40.80| 394| 0| 31| 0| 1612| 0| 15063| 210628| 2234| 344124| 0.00| 0.00
2 4| 512| 14709.72| 39.94| 367| 0| 31| 0| 1612| 0| 17823| 193670| 4457| 324744| 0.00| 0.00
% | 0.0| -8.8| -2.1| -6.9| 0| 0.0| 0| 0.0| 0| +18.3| -8.1| +99.5| -5.6| 0| 0
1 1| 1024| 6436.88| 30.31| 212| 0| 33| 0| 1778| 0| 47820| 83940| 2007| 172847| 0.00| 0.00
2 1| 1024| 6495.48| 30.51| 212| 0| 32| 0| 1726| 0| 47771| 85436| 2038| 175027| 0.00| 0.00
% | 0.0| +0.9| +0.7| 0.0| 0| -3.0| 0| -2.9| 0| -0.1| +1.8| +1.5| +1.3| 0| 0
1 2| 1024| 12245.34| 33.44| 365| 0| 31| 0| 1629| 0| 26499| 162142| 2909| 255717| 0.00| 0.00
2 2| 1024| 12913.57| 33.93| 380| 0| 31| 0| 1612| 0| 24196| 171386| 3671| 266270| 0.00| 0.00
% | 0.0| +5.5| +1.5| +4.1| 0| 0.0| 0| -1.0| 0| -8.7| +5.7| +26.2| +4.1| 0| 0
1 4| 1024| 16428.48| 34.81| 471| 0| 32| 0| 1709| 0| 12496| 215031| 6557| 318039| 0.00| 0.00
2 4| 1024| 17294.33| 35.05| 492| 0| 32| 0| 1709| 0| 9444| 224694| 4095| 328098| 0.00| 0.00
% | 0.0| +5.3| +0.7| +4.5| 0| 0.0| 0| 0.0| 0| -24.4| +4.5| -37.5| +3.2| 0| 0
TCP_RR
sessions| size|throughput| cpu| normalize| #tx-pkts| #rx-pkts| #tx-byts| #rx-byts| #re-trans| #tx-intr| #rx-intr| #io_exit| #irq_inj|#tpkt/#exit| #rpkt/#irq
1 50| 64| 14626.43| 14.93| 980| 0| 32| 0| 1681| 0| 13| 877664| 877731| 902624| 0.00| 0.00
2 50| 64| 14639.95| 13.10| 1123| 0| 32| 0| 1681| 0| 13| 878475| 878538| 897278| 0.00| 0.00
% | 0.0| +0.1| -12.3| +14.6| 0| 0.0| 0| 0.0| 0| 0.0| +0.1| +0.1| -0.6| 0| 0
1 100| 64| 14697.50| 14.31| 1029| 0| 34| 0| 1830| 0| 13| 881930| 881991| 903837| 0.00| 0.00
2 100| 64| 14692.35| 13.08| 1128| 0| 34| 0| 1830| 0| 13| 881619| 881679| 898952| 0.00| 0.00
% | 0.0| -0.0| -8.6| +9.6| 0| 0.0| 0| 0.0| 0| 0.0| -0.0| -0.0| -0.5| 0| 0
1 250| 64| 14683.40| 14.34| 1027| 0| 32| 0| 1698| 0| 13| 881083| 881147| 903071| 0.00| 0.00
2 250| 64| 14677.06| 12.85| 1144| 0| 32| 0| 1698| 0| 13| 880702| 880762| 898190| 0.00| 0.00
% | 0.0| -0.0| -10.4| +11.4| 0| 0.0| 0| 0.0| 0| 0.0| -0.0| -0.0| -0.5| 0| 0
1 500| 64| 14698.45| 14.39| 1025| 0| 34| 0| 1830| 0| 13| 881985| 882060| 905537| 0.00| 0.00
2 500| 64| 14626.17| 13.54| 1083| 0| 34| 0| 1830| 0| 13| 877648| 877726| 896427| 0.00| 0.00
% | 0.0| -0.5| -5.9| +5.7| 0| 0.0| 0| 0.0| 0| 0.0| -0.5| -0.5| -1.0| 0| 0
1 50| 256| 14386.52| 14.14| 1018| 0| 33| 0| 1716| 0| 13| 863266| 863336| 887195| 0.00| 0.00
2 50| 256| 14359.26| 14.22| 1016| 0| 32| 0| 1681| 0| 13| 861630| 861698| 882444| 0.00| 0.00
% | 0.0| -0.2| +0.6| -0.2| 0| -3.0| 0| -2.0| 0| 0.0| -0.2| -0.2| -0.5| 0| 0
1 100| 256| 14364.89| 14.25| 1008| 0| 34| 0| 1813| 0| 13| 861969| 862033| 886679| 0.00| 0.00
2 100| 256| 14393.82| 14.53| 999| 0| 34| 0| 1813| 0| 13| 863704| 863765| 884487| 0.00| 0.00
% | 0.0| +0.2| +2.0| -0.9| 0| 0.0| 0| 0.0| 0| 0.0| +0.2| +0.2| -0.2| 0| 0
1 250| 256| 14387.95| 14.05| 1024| 0| 32| 0| 1681| 0| 13| 863352| 863429| 887505| 0.00| 0.00
2 250| 256| 14344.74| 14.62| 987| 0| 32| 0| 1698| 0| 13| 860760| 860843| 882154| 0.00| 0.00
% | 0.0| -0.3| +4.1| -3.6| 0| 0.0| 0| +1.0| 0| 0.0| -0.3| -0.3| -0.6| 0| 0
1 500| 256| 14365.89| 14.19| 1013| 0| 33| 0| 1769| 0| 13| 862029| 862099| 885852| 0.00| 0.00
2 500| 256| 14329.59| 14.62| 990| 0| 34| 0| 1830| 0| 13| 859852| 861233| 880082| 0.00| 0.00
% | 0.0| -0.3| +3.0| -2.3| 0| +3.0| 0| +3.4| 0| 0.0| -0.3| -0.1| -0.7| 0| 0
1 50| 512| 14273.07| 14.12| 1010| 0| 33| 0| 1742| 0| 13| 856460| 856524| 880356| 0.00| 0.00
2 50| 512| 14222.08| 14.72| 966| 0| 32| 0| 1698| 0| 12| 853398| 853468| 875621| 0.00| 0.00
% | 0.0| -0.4| +4.2| -4.4| 0| -3.0| 0| -2.5| 0| -7.7| -0.4| -0.4| -0.5| 0| 0
1 100| 512| 14236.34| 14.51| 982| 0| 34| 0| 1804| 0| 13| 854258| 854335| 876662| 0.00| 0.00
2 100| 512| 14147.89| 14.85| 953| 0| 34| 0| 1813| 0| 13| 848947| 849031| 871773| 0.00| 0.00
% | 0.0| -0.6| +2.3| -3.0| 0| 0.0| 0| +0.5| 0| 0.0| -0.6| -0.6| -0.6| 0| 0
1 250| 512| 14260.79| 14.53| 983| 0| 33| 0| 1760| 0| 13| 855721| 855791| 879099| 0.00| 0.00
2 250| 512| 14190.68| 14.87| 954| 0| 32| 0| 1698| 0| 13| 851517| 851580| 874119| 0.00| 0.00
% | 0.0| -0.5| +2.3| -3.0| 0| -3.0| 0| -3.5| 0| 0.0| -0.5| -0.5| -0.6| 0| 0
1 500| 512| 14273.71| 14.18| 1008| 0| 33| 0| 1769| 0| 13| 856499| 856562| 879984| 0.00| 0.00
2 500| 512| 14213.87| 14.72| 967| 0| 34| 0| 1830| 0| 13| 852907| 852976| 875328| 0.00| 0.00
% | 0.0| -0.4| +3.8| -4.1| 0| +3.0| 0| +3.4| 0| 0.0| -0.4| -0.4| -0.5| 0| 0
1 50| 1024| 14049.77| 13.89| 1024| 0| 32| 0| 1708| 0| 12| 843061| 843134| 863697| 0.00| 0.00
2 50| 1024| 13980.25| 14.38| 980| 0| 32| 0| 1698| 0| 12| 838890| 838973| 858350| 0.00| 0.00
% | 0.0| -0.5| +3.5| -4.3| 0| 0.0| 0| -0.6| 0| 0.0| -0.5| -0.5| -0.6| 0| 0
1 100| 1024| 14025.66| 13.32| 1066| 0| 33| 0| 1769| 0| 13| 841616| 841685| 864460| 0.00| 0.00
2 100| 1024| 13993.30| 14.82| 946| 0| 34| 0| 1830| 0| 12| 839676| 839735| 859288| 0.00| 0.00
% | 0.0| -0.2| +11.3| -11.3| 0| +3.0| 0| +3.4| 0| -7.7| -0.2| -0.2| -0.6| 0| 0
1 250| 1024| 14060.15| 13.90| 1023| 0| 35| 0| 1848| 0| 12| 843688| 843752| 864475| 0.00| 0.00
2 250| 1024| 13982.47| 15.34| 913| 0| 34| 0| 1830| 0| 12| 839026| 839089| 859914| 0.00| 0.00
% | 0.0| -0.6| +10.4| -10.8| 0| -2.9| 0| -1.0| 0| 0.0| -0.6| -0.6| -0.5| 0| 0
1 500| 1024| 14051.14| 13.80| 1024| 0| 33| 0| 1716| 0| 13| 843144| 843212| 862981| 0.00| 0.00
2 500| 1024| 14013.95| 15.27| 918| 0| 32| 0| 1681| 0| 13| 840915| 840983| 862635| 0.00| 0.00
% | 0.0| -0.3| +10.7| -10.4| 0| -3.0| 0| -2.0| 0| 0.0| -0.3| -0.3| -0.0| 0| 0