You are here: Home / Users / Elena Korytko / bbcp testing / 25GB / streams-tcp_window_size / testing

testing

by Elena Korytko last modified Nov 02, 2014 07:32 PM
Передача тестового каталога размером 25 GB, размещенного на машине 10.10.20.2 и подключенного по NFS на машину 10.10.20.23 в /dev/null с разным числом потоков и разным TCP Window Size на виртуалках на sdn

На виртуалках на sdn проведена серия тестов с разным числом потоков и разным TCP Window Size.

Для этого создала следующие файлы s1-tcp-parameters, s2-tcp-parameters, s3-tcp-parameters, s4-tcp-parameters, s18-tcp-parameters, s26-tcp-parameters, s50-tcp-parameters, s64-tcp-parameters, содержащие две строки. Первая строка - число потоков. В каждом файле число потоков разное:
s1-tcp-parameters - 1
s2-tcp-parameters - 2
s3-tcp-parameters - 3
s4-tcp-parameters - 4
s18-tcp-parameters - 18
s26-tcp-parameters - 26
s50-tcp-parameters - 50
s64-tcp-parameters - 64

Вторая строка во всех файлах одинаковая:

131072 262144 524288 1048576 4194304 8388608 16777216 33554432 67108864 134217728 268435456 536870912

содержит 12 вариантов параметров для TCP Window Size  из таблицы 2 ТЗ - см. https://docs.google.com/viewer?a=v&pid=sites&srcid=ZGVmYXVsdGRvbWFpbnxvcGVuZmxvd25pcnxneDo3N2JhMmVkZTVlN2M1OWUz

Команда

sh /root/github/BigData/BBCP/Wrapper-CopyData.bbcp /root/s1-tcp-parameters /root/bbcp_config_file logs/nfs_10.10.20.2_25GB/to_dev_null/s2/20141024/ /net/10.10.20.2/mnt/tmp/ 10.10.20.23 /dev/null

выполняет 12 тестов с числом потоков 1 и разными значениями TCP Window Size.

Таким образом выполнены тесты для числа потоков 1, 2, 3, 4, 18, 26, 64 и разным TCP Window Size.

При числе потоков 1 и 2 успешно выполнены все 12 тестов.

При числе потоков 3 и 4 выполнились 11 тестов, на выполнении 12-го процесс завис. В соответствующем логе пишут:

141023 01:31:12 bbcp: Indexing files to be copied...
141023 01:31:12 bbcp: Target autotuning may be misconfigured; max set to 245760 bytes.
141023 01:31:12 Target 10.10.20.23 using initial recv window of 87380
141023 01:31:12 bbcp: Copying 246 files and 0 links in 1 directory.
141023 01:31:12 Source 10.10.20.21 using initial send window of 19800

Запустила одиночную команду с числом потоков 4 и TCP Window Size 536870912. Процесс зависает. Лог:

141027 18:31:59 bbcp: Indexing files to be copied...
141027 18:31:59 bbcp: Copying 246 files and 0 links in 1 directory.
141027 18:31:59 Source 10.10.20.21 using initial send window of 19800
141027 18:31:59 bbcp: Target autotuning may be misconfigured; max set to 245760 bytes.
141027 18:31:59 Target 10.10.20.23 using initial recv window of 87380

То есть при числе потоков 3 и 4 и TCP Window Size 536870912 команда bbcp не работает.

При числе потоков 18 и 26 выполнились 8 тестов, на выполнении 9-го процесс завис. То есть при числе потоков 18 и 26 и TCP Window Size 134217728 268435456 536870912 команда bbcp не работает.

При числе потоков 50 и 64 выполнились 7 тестов, на выполнении 8-го процесс завис. То есть при числе потоков 50 и 64 TCP Window Size 33554432 67108864 134217728 268435456 536870912 команда bbcp не работает.

С числом потоков 64 выполнено 3 цикла тестов. Наблюдается большой разброс показаний средней скорости передачи.

По результатам измерений построен график.

График в PDF

BigData-25GB.to_dev_null.20141028.jpg