testing

by Elena Korytko last modified Dec 01, 2014 06:53 PM
Передача тестового каталога размером 25 GB, размещенного на машине 10.10.20.2 и подключенного по NFS на виртуальную машину в Дубне в /dev/null с разным числом потоков и разным TCP Window Size при помощи fdt

Проведена серия тестов передачи при помощи fdt тестового каталога размером 25 GB, размещенного на машине 10.10.20.2 и подключенного по NFS с виртуальной машины в ИТМО host-10-10-20-29 на виртуальную машину в Объединенном Институте Ядерных Исследований в Дубне (159.93.39.120) в /dev/null с разным числом потоков и разным TCP Window Size.

На ВМ в Дубне установлены следующие параметры sysctl:

# sysctl -a | grep mem
vm.overcommit_memory = 0
vm.nr_hugepages_mempolicy = 0
vm.lowmem_reserve_ratio = 256	256	32
vm.memory_failure_early_kill = 0
vm.memory_failure_recovery = 1
net.core.wmem_max = 16777216
net.core.rmem_max = 16777216
net.core.wmem_default = 124928
net.core.rmem_default = 124928
net.core.optmem_max = 20480
net.ipv4.igmp_max_memberships = 20
net.ipv4.tcp_mem = 178272	237696	356544
net.ipv4.tcp_wmem = 4096	8388608	16777216
net.ipv4.tcp_rmem = 4096	8388608	16777216
net.ipv4.udp_mem = 178272	237696	356544
net.ipv4.udp_rmem_min = 4096
net.ipv4.udp_wmem_min = 4096

Команда для числа потоков 1:


Скорость передачи сильно колеблется.

Проведены три серии тестов.

2014-11-23 - прошли не все возможные варианты передачи.

2014-11-27 - некоторые результаты явно неправдоподобны. При показателях скорости от 20 до 80 MB/s есть такие показатели:1055, 1935, 363, 306, 290 MB/s.

Для одного из измерений файл ABSTRACT.host-10-10-20-29.159.93.39.120 содержит следующее:

Start time = Чтв Ноя 27 11:17:03 MSK 2014
Command line = echo | java -jar fdt.jar -ss 262144
-P 64 -sshKey /root/.ssh/id_rsa -r /net/10.10.20.2/mnt/tmp/ root@159.93.39.120:/dev/null
Total data size to transfer(KB) = 23780576
Number of files = 243
Source directory(or single file) with files = /net/10.10.20.2/mnt/tmp/
Average file size(KB) = 97861
File size dispersion = 1609314913
Local host name = host-10-10-20-29
Remote host name = 159.93.39.120
Remote host directory = /dev/null
Data size transferred (KB) = 23780576
End time = Чтв Ноя 27 11:17:03 MSK 2014
Completion = YES
Average transfer speed (KB/sec) =

То есть, "Start time" и "End time" равны, а в поле "Average transfer speed" пусто.

28 ноября Орешкин подкорректировал CopyData.fdt. 29 ноября обнаружились проблемы с сервером - см. .

2014-11-29 проведена новая серия тестов. Все тесты прошли успешно. Скорость передачи при числе потоков 1, 2, 3, 4 сильно колеблется. При числе потоков 18, 26, 50, 64 скорость более стабильна и составляет приблизительно 84 MB/s.

Логи 2014-11-23

Логи 2014-11-27

Логи 2014-11-29

По результатам измерений построены графики.

График за в 2014-11-23 PDF

График за в 2014-11-27 PDF

График за в 2014-11-29 PDF