From 5c677fad77c1ecce90e2f1ca7ce4c39c2e976166 Mon Sep 17 00:00:00 2001 From: "github-actions[bot]" <41898282+github-actions[bot]@users.noreply.github.com> Date: Sat, 21 Dec 2024 10:57:48 +0000 Subject: [PATCH] lcov: new: export/20241221T100847 --- html/lcov/export/index-sort-b.html | 136 +- html/lcov/export/index-sort-f.html | 64 +- html/lcov/export/index-sort-l.html | 64 +- html/lcov/export/index.html | 64 +- html/lcov/export/mptcp/bpf.c.func-c.html | 10 +- html/lcov/export/mptcp/bpf.c.func.html | 10 +- html/lcov/export/mptcp/bpf.c.gcov.html | 16 +- html/lcov/export/mptcp/crypto.c.func-c.html | 2 +- html/lcov/export/mptcp/crypto.c.func.html | 2 +- html/lcov/export/mptcp/crypto.c.gcov.html | 10 +- .../export/mptcp/crypto_test.c.func-c.html | 2 +- .../lcov/export/mptcp/crypto_test.c.func.html | 2 +- .../lcov/export/mptcp/crypto_test.c.gcov.html | 2 +- html/lcov/export/mptcp/ctrl.c.func-c.html | 14 +- html/lcov/export/mptcp/ctrl.c.func.html | 14 +- html/lcov/export/mptcp/ctrl.c.gcov.html | 40 +- html/lcov/export/mptcp/diag.c.func-c.html | 2 +- html/lcov/export/mptcp/diag.c.func.html | 2 +- html/lcov/export/mptcp/diag.c.gcov.html | 2 +- html/lcov/export/mptcp/fastopen.c.func-c.html | 6 +- html/lcov/export/mptcp/fastopen.c.func.html | 6 +- html/lcov/export/mptcp/fastopen.c.gcov.html | 18 +- html/lcov/export/mptcp/mib.c.func-c.html | 2 +- html/lcov/export/mptcp/mib.c.func.html | 2 +- html/lcov/export/mptcp/mib.c.gcov.html | 2 +- html/lcov/export/mptcp/mib.h.func-c.html | 8 +- html/lcov/export/mptcp/mib.h.func.html | 8 +- html/lcov/export/mptcp/mib.h.gcov.html | 83 +- .../export/mptcp/mptcp_diag.c.func-c.html | 18 +- html/lcov/export/mptcp/mptcp_diag.c.func.html | 18 +- html/lcov/export/mptcp/mptcp_diag.c.gcov.html | 148 +- html/lcov/export/mptcp/options.c.func-c.html | 56 +- html/lcov/export/mptcp/options.c.func.html | 56 +- html/lcov/export/mptcp/options.c.gcov.html | 1230 +++---- html/lcov/export/mptcp/pm.c.func-c.html | 16 +- html/lcov/export/mptcp/pm.c.func.html | 8 +- html/lcov/export/mptcp/pm.c.gcov.html | 86 +- .../export/mptcp/pm_netlink.c.func-c.html | 64 +- html/lcov/export/mptcp/pm_netlink.c.func.html | 42 +- html/lcov/export/mptcp/pm_netlink.c.gcov.html | 344 +- .../export/mptcp/pm_userspace.c.func-c.html | 2 +- .../export/mptcp/pm_userspace.c.func.html | 2 +- .../export/mptcp/pm_userspace.c.gcov.html | 2 +- html/lcov/export/mptcp/protocol.c.func-c.html | 276 +- html/lcov/export/mptcp/protocol.c.func.html | 198 +- html/lcov/export/mptcp/protocol.c.gcov.html | 2986 ++++++++--------- html/lcov/export/mptcp/protocol.h.func-c.html | 78 +- html/lcov/export/mptcp/protocol.h.func.html | 68 +- html/lcov/export/mptcp/protocol.h.gcov.html | 484 ++- html/lcov/export/mptcp/sched.c.func-c.html | 12 +- html/lcov/export/mptcp/sched.c.func.html | 12 +- html/lcov/export/mptcp/sched.c.gcov.html | 102 +- html/lcov/export/mptcp/sockopt.c.func-c.html | 20 +- html/lcov/export/mptcp/sockopt.c.func.html | 14 +- html/lcov/export/mptcp/sockopt.c.gcov.html | 170 +- html/lcov/export/mptcp/subflow.c.func-c.html | 110 +- html/lcov/export/mptcp/subflow.c.func.html | 94 +- html/lcov/export/mptcp/subflow.c.gcov.html | 1134 +++---- .../export/mptcp/syncookies.c.func-c.html | 2 +- html/lcov/export/mptcp/syncookies.c.func.html | 2 +- html/lcov/export/mptcp/syncookies.c.gcov.html | 2 +- html/lcov/export/mptcp/token.c.func-c.html | 8 +- html/lcov/export/mptcp/token.c.func.html | 8 +- html/lcov/export/mptcp/token.c.gcov.html | 80 +- .../export/mptcp/token_test.c.func-c.html | 2 +- html/lcov/export/mptcp/token_test.c.func.html | 2 +- html/lcov/export/mptcp/token_test.c.gcov.html | 2 +- 67 files changed, 4268 insertions(+), 4283 deletions(-) diff --git a/html/lcov/export/index-sort-b.html b/html/lcov/export/index-sort-b.html index 8dea61b8..6eebf9ea 100644 --- a/html/lcov/export/index-sort-b.html +++ b/html/lcov/export/index-sort-b.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 96.4 % @@ -53,9 +53,9 @@ Branches: - 64.5 % - 6549 - 4227 + 64.8 % + 6467 + 4188 @@ -107,9 +107,9 @@ 84.6 % 13 11 - 41.3 % - 254 - 105 + 45.1 % + 206 + 93 100.0 % 1 1 @@ -129,6 +129,21 @@ 17 17 + + mptcp/fastopen.c + +
97.4%97.4%
+ + 97.4 % + 38 + 37 + 50.0 % + 22 + 11 + 100.0 % + 2 + 2 + mptcp/token_test.c @@ -159,21 +174,6 @@ 41 37 - - mptcp/fastopen.c - -
97.4%97.4%
- - 97.4 % - 38 - 37 - 54.5 % - 22 - 12 - 100.0 % - 2 - 2 - mptcp/diag.c @@ -212,13 +212,28 @@ 89.3 % 1314 1173 - 61.6 % + 61.5 % 1032 - 636 + 635 100.0 % 80 80 + + mptcp/bpf.c + +
82.6%82.6%
+ + 82.6 % + 115 + 95 + 62.3 % + 77 + 48 + 85.0 % + 20 + 17 + mptcp/ctrl.c @@ -234,51 +249,21 @@ 24 24 - - mptcp/bpf.c - -
82.6%82.6%
- - 82.6 % - 115 - 95 - 63.6 % - 77 - 49 - 85.0 % - 20 - 17 - mptcp/subflow.c -
90.3%90.3%
+
90.4%90.4%
- 90.3 % + 90.4 % 1136 - 1026 - 63.8 % + 1027 + 64.0 % 858 - 547 + 549 95.5 % 67 64 - - mptcp/mptcp_diag.c - -
72.9%72.9%
- - 72.9 % - 133 - 97 - 64.3 % - 70 - 45 - 71.4 % - 7 - 5 - mptcp/sched.c @@ -294,6 +279,21 @@ 12 12 + + mptcp/mptcp_diag.c + +
73.7%73.7%
+ + 73.7 % + 133 + 98 + 65.7 % + 70 + 46 + 71.4 % + 7 + 5 + mptcp/protocol.c @@ -304,7 +304,7 @@ 2033 68.5 % 1621 - 1111 + 1110 95.7 % 141 135 @@ -317,9 +317,9 @@ 94.9 % 234 222 - 70.7 % - 566 - 400 + 70.5 % + 532 + 375 100.0 % 35 35 @@ -372,14 +372,14 @@ mptcp/options.c -
98.3%98.3%
+
98.1%98.1%
- 98.3 % + 98.1 % 873 - 858 - 77.5 % + 856 + 77.4 % 689 - 534 + 533 100.0 % 27 27 diff --git a/html/lcov/export/index-sort-f.html b/html/lcov/export/index-sort-f.html index 7011f85c..7352e6de 100644 --- a/html/lcov/export/index-sort-f.html +++ b/html/lcov/export/index-sort-f.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 96.4 % @@ -53,9 +53,9 @@ Branches: - 64.5 % - 6549 - 4227 + 64.8 % + 6467 + 4188 @@ -117,14 +117,14 @@ mptcp/mptcp_diag.c -
72.9%72.9%
+
73.7%73.7%
- 72.9 % + 73.7 % 133 - 97 - 64.3 % + 98 + 65.7 % 70 - 45 + 46 71.4 % 7 5 @@ -137,9 +137,9 @@ 82.6 % 115 95 - 63.6 % + 62.3 % 77 - 49 + 48 85.0 % 20 17 @@ -162,14 +162,14 @@ mptcp/subflow.c -
90.3%90.3%
+
90.4%90.4%
- 90.3 % + 90.4 % 1136 - 1026 - 63.8 % + 1027 + 64.0 % 858 - 547 + 549 95.5 % 67 64 @@ -184,7 +184,7 @@ 2033 68.5 % 1621 - 1111 + 1110 95.7 % 141 135 @@ -212,9 +212,9 @@ 84.6 % 13 11 - 41.3 % - 254 - 105 + 45.1 % + 206 + 93 100.0 % 1 1 @@ -242,9 +242,9 @@ 97.4 % 38 37 - 54.5 % + 50.0 % 22 - 12 + 11 100.0 % 2 2 @@ -357,14 +357,14 @@ mptcp/options.c -
98.3%98.3%
+
98.1%98.1%
- 98.3 % + 98.1 % 873 - 858 - 77.5 % + 856 + 77.4 % 689 - 534 + 533 100.0 % 27 27 @@ -392,9 +392,9 @@ 94.9 % 234 222 - 70.7 % - 566 - 400 + 70.5 % + 532 + 375 100.0 % 35 35 @@ -407,9 +407,9 @@ 89.3 % 1314 1173 - 61.6 % + 61.5 % 1032 - 636 + 635 100.0 % 80 80 diff --git a/html/lcov/export/index-sort-l.html b/html/lcov/export/index-sort-l.html index 6b20231e..47f8b205 100644 --- a/html/lcov/export/index-sort-l.html +++ b/html/lcov/export/index-sort-l.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 96.4 % @@ -53,9 +53,9 @@ Branches: - 64.5 % - 6549 - 4227 + 64.8 % + 6467 + 4188 @@ -117,14 +117,14 @@ mptcp/mptcp_diag.c -
72.9%72.9%
+
73.7%73.7%
- 72.9 % + 73.7 % 133 - 97 - 64.3 % + 98 + 65.7 % 70 - 45 + 46 71.4 % 7 5 @@ -167,9 +167,9 @@ 82.6 % 115 95 - 63.6 % + 62.3 % 77 - 49 + 48 85.0 % 20 17 @@ -182,9 +182,9 @@ 84.6 % 13 11 - 41.3 % - 254 - 105 + 45.1 % + 206 + 93 100.0 % 1 1 @@ -212,9 +212,9 @@ 89.3 % 1314 1173 - 61.6 % + 61.5 % 1032 - 636 + 635 100.0 % 80 80 @@ -222,14 +222,14 @@ mptcp/subflow.c -
90.3%90.3%
+
90.4%90.4%
- 90.3 % + 90.4 % 1136 - 1026 - 63.8 % + 1027 + 64.0 % 858 - 547 + 549 95.5 % 67 64 @@ -259,7 +259,7 @@ 2033 68.5 % 1621 - 1111 + 1110 95.7 % 141 135 @@ -287,9 +287,9 @@ 94.9 % 234 222 - 70.7 % - 566 - 400 + 70.5 % + 532 + 375 100.0 % 35 35 @@ -362,9 +362,9 @@ 97.4 % 38 37 - 54.5 % + 50.0 % 22 - 12 + 11 100.0 % 2 2 @@ -372,14 +372,14 @@ mptcp/options.c -
98.3%98.3%
+
98.1%98.1%
- 98.3 % + 98.1 % 873 - 858 - 77.5 % + 856 + 77.4 % 689 - 534 + 533 100.0 % 27 27 diff --git a/html/lcov/export/index.html b/html/lcov/export/index.html index 79109f34..fd645518 100644 --- a/html/lcov/export/index.html +++ b/html/lcov/export/index.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 96.4 % @@ -53,9 +53,9 @@ Branches: - 64.5 % - 6549 - 4227 + 64.8 % + 6467 + 4188 @@ -107,9 +107,9 @@ 82.6 % 115 95 - 63.6 % + 62.3 % 77 - 49 + 48 85.0 % 20 17 @@ -182,9 +182,9 @@ 97.4 % 38 37 - 54.5 % + 50.0 % 22 - 12 + 11 100.0 % 2 2 @@ -212,9 +212,9 @@ 84.6 % 13 11 - 41.3 % - 254 - 105 + 45.1 % + 206 + 93 100.0 % 1 1 @@ -222,14 +222,14 @@ mptcp/mptcp_diag.c -
72.9%72.9%
+
73.7%73.7%
- 72.9 % + 73.7 % 133 - 97 - 64.3 % + 98 + 65.7 % 70 - 45 + 46 71.4 % 7 5 @@ -237,14 +237,14 @@ mptcp/options.c -
98.3%98.3%
+
98.1%98.1%
- 98.3 % + 98.1 % 873 - 858 - 77.5 % + 856 + 77.4 % 689 - 534 + 533 100.0 % 27 27 @@ -272,9 +272,9 @@ 89.3 % 1314 1173 - 61.6 % + 61.5 % 1032 - 636 + 635 100.0 % 80 80 @@ -304,7 +304,7 @@ 2033 68.5 % 1621 - 1111 + 1110 95.7 % 141 135 @@ -317,9 +317,9 @@ 94.9 % 234 222 - 70.7 % - 566 - 400 + 70.5 % + 532 + 375 100.0 % 35 35 @@ -357,14 +357,14 @@ mptcp/subflow.c -
90.3%90.3%
+
90.4%90.4%
- 90.3 % + 90.4 % 1136 - 1026 - 63.8 % + 1027 + 64.0 % 858 - 547 + 549 95.5 % 67 64 diff --git a/html/lcov/export/mptcp/bpf.c.func-c.html b/html/lcov/export/mptcp/bpf.c.func-c.html index 07037def..29f76220 100644 --- a/html/lcov/export/mptcp/bpf.c.func-c.html +++ b/html/lcov/export/mptcp/bpf.c.func-c.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 85.0 % @@ -56,9 +56,9 @@ Branches: - 63.6 % + 62.3 % 77 - 49 + 48 @@ -151,7 +151,7 @@ bpf_mptcp_subflow_queues_empty - 10 + 14 @@ -214,7 +214,7 @@ bpf_mptcp_subflow_ctx_by_pos - 544768 + 544625 diff --git a/html/lcov/export/mptcp/bpf.c.func.html b/html/lcov/export/mptcp/bpf.c.func.html index 5595bf54..5dfb2312 100644 --- a/html/lcov/export/mptcp/bpf.c.func.html +++ b/html/lcov/export/mptcp/bpf.c.func.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 85.0 % @@ -56,9 +56,9 @@ Branches: - 63.6 % + 62.3 % 77 - 49 + 48 @@ -207,14 +207,14 @@ bpf_mptcp_subflow_ctx_by_pos - 544768 + 544625 bpf_mptcp_subflow_queues_empty - 10 + 14 diff --git a/html/lcov/export/mptcp/bpf.c.gcov.html b/html/lcov/export/mptcp/bpf.c.gcov.html index 641cf94f..77655626 100644 --- a/html/lcov/export/mptcp/bpf.c.gcov.html +++ b/html/lcov/export/mptcp/bpf.c.gcov.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 85.0 % @@ -56,9 +56,9 @@ Branches: - 63.6 % + 62.3 % 77 - 49 + 48 @@ -370,16 +370,16 @@ 291 : 6 : } 292 : : 293 : : __bpf_kfunc struct mptcp_subflow_context * - 294 : 544768 : bpf_mptcp_subflow_ctx_by_pos(const struct mptcp_sched_data *data, unsigned int pos) + 294 : 544625 : bpf_mptcp_subflow_ctx_by_pos(const struct mptcp_sched_data *data, unsigned int pos) 295 : : { - 296 [ + + ]: 544768 : if (pos >= MPTCP_SUBFLOWS_MAX) + 296 [ + - ]: 544625 : if (pos >= MPTCP_SUBFLOWS_MAX) 297 : : return NULL; - 298 : 544766 : return data->contexts[pos]; + 298 : 544625 : return data->contexts[pos]; 299 : : } 300 : : - 301 : 10 : __bpf_kfunc static bool bpf_mptcp_subflow_queues_empty(struct sock *sk) + 301 : 14 : __bpf_kfunc static bool bpf_mptcp_subflow_queues_empty(struct sock *sk) 302 : : { - 303 : 10 : return tcp_rtx_queue_empty(sk); + 303 : 14 : return tcp_rtx_queue_empty(sk); 304 : : } 305 : : 306 : : __bpf_kfunc_end_defs(); diff --git a/html/lcov/export/mptcp/crypto.c.func-c.html b/html/lcov/export/mptcp/crypto.c.func-c.html index 4842829b..861d5a9b 100644 --- a/html/lcov/export/mptcp/crypto.c.func-c.html +++ b/html/lcov/export/mptcp/crypto.c.func-c.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % diff --git a/html/lcov/export/mptcp/crypto.c.func.html b/html/lcov/export/mptcp/crypto.c.func.html index 66fa8b54..d20448e2 100644 --- a/html/lcov/export/mptcp/crypto.c.func.html +++ b/html/lcov/export/mptcp/crypto.c.func.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % diff --git a/html/lcov/export/mptcp/crypto.c.gcov.html b/html/lcov/export/mptcp/crypto.c.gcov.html index 86e028ca..840dd453 100644 --- a/html/lcov/export/mptcp/crypto.c.gcov.html +++ b/html/lcov/export/mptcp/crypto.c.gcov.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -113,10 +113,10 @@ 35 : : 36 : 5955 : sha256((__force u8 *)&input, sizeof(input), (u8 *)mptcp_hashed_key); 37 : : - 38 [ + + ]: 5955 : if (token) - 39 : 3047 : *token = be32_to_cpu(mptcp_hashed_key[0]); - 40 [ + + ]: 5955 : if (idsn) - 41 : 5394 : *idsn = be64_to_cpu(*((__be64 *)&mptcp_hashed_key[6])); + 38 [ + + ]: 5955 : if (token) + 39 : 3045 : *token = be32_to_cpu(mptcp_hashed_key[0]); + 40 [ + + ]: 5955 : if (idsn) + 41 : 5396 : *idsn = be64_to_cpu(*((__be64 *)&mptcp_hashed_key[6])); 42 : 5955 : } 43 : : 44 : 2772 : void mptcp_crypto_hmac_sha(u64 key1, u64 key2, u8 *msg, int len, void *hmac) diff --git a/html/lcov/export/mptcp/crypto_test.c.func-c.html b/html/lcov/export/mptcp/crypto_test.c.func-c.html index 007c054d..4eab52ab 100644 --- a/html/lcov/export/mptcp/crypto_test.c.func-c.html +++ b/html/lcov/export/mptcp/crypto_test.c.func-c.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % diff --git a/html/lcov/export/mptcp/crypto_test.c.func.html b/html/lcov/export/mptcp/crypto_test.c.func.html index 06f2da15..9d9a2f54 100644 --- a/html/lcov/export/mptcp/crypto_test.c.func.html +++ b/html/lcov/export/mptcp/crypto_test.c.func.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % diff --git a/html/lcov/export/mptcp/crypto_test.c.gcov.html b/html/lcov/export/mptcp/crypto_test.c.gcov.html index d8c50f2d..dbbbf54f 100644 --- a/html/lcov/export/mptcp/crypto_test.c.gcov.html +++ b/html/lcov/export/mptcp/crypto_test.c.gcov.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % diff --git a/html/lcov/export/mptcp/ctrl.c.func-c.html b/html/lcov/export/mptcp/ctrl.c.func-c.html index 44d77af2..78f4b5ee 100644 --- a/html/lcov/export/mptcp/ctrl.c.func-c.html +++ b/html/lcov/export/mptcp/ctrl.c.func-c.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -130,7 +130,7 @@ mptcp_stale_loss_cnt - 307 + 223 @@ -144,7 +144,7 @@ mptcp_active_detect_blackhole - 798 + 796 @@ -214,7 +214,7 @@ mptcp_close_timeout - 3235 + 3184 @@ -228,21 +228,21 @@ mptcp_allow_join_id0 - 4816 + 4836 mptcp_is_checksum_enabled - 6855 + 6854 mptcp_get_pernet - 12935 + 12827 diff --git a/html/lcov/export/mptcp/ctrl.c.func.html b/html/lcov/export/mptcp/ctrl.c.func.html index 6278156a..d4743adb 100644 --- a/html/lcov/export/mptcp/ctrl.c.func.html +++ b/html/lcov/export/mptcp/ctrl.c.func.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -81,7 +81,7 @@ mptcp_active_detect_blackhole - 798 + 796 @@ -109,14 +109,14 @@ mptcp_allow_join_id0 - 4816 + 4836 mptcp_close_timeout - 3235 + 3184 @@ -130,7 +130,7 @@ mptcp_get_pernet - 12935 + 12827 @@ -158,7 +158,7 @@ mptcp_is_checksum_enabled - 6855 + 6854 @@ -214,7 +214,7 @@ mptcp_stale_loss_cnt - 307 + 223 diff --git a/html/lcov/export/mptcp/ctrl.c.gcov.html b/html/lcov/export/mptcp/ctrl.c.gcov.html index 42651c9e..045b5bcb 100644 --- a/html/lcov/export/mptcp/ctrl.c.gcov.html +++ b/html/lcov/export/mptcp/ctrl.c.gcov.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -118,9 +118,9 @@ 40 : : char scheduler[MPTCP_SCHED_NAME_MAX]; 41 : : }; 42 : : - 43 : 12935 : static struct mptcp_pernet *mptcp_get_pernet(const struct net *net) + 43 : 12827 : static struct mptcp_pernet *mptcp_get_pernet(const struct net *net) 44 : : { - 45 : 12935 : return net_generic(net, mptcp_pernet_id); + 45 : 12827 : return net_generic(net, mptcp_pernet_id); 46 : : } 47 : : 48 : 2522 : int mptcp_is_enabled(const struct net *net) @@ -133,24 +133,24 @@ 55 : 392 : return mptcp_get_pernet(net)->add_addr_timeout; 56 : : } 57 : : - 58 : 6855 : int mptcp_is_checksum_enabled(const struct net *net) + 58 : 6854 : int mptcp_is_checksum_enabled(const struct net *net) 59 : : { - 60 : 6855 : return mptcp_get_pernet(net)->checksum_enabled; + 60 : 6854 : return mptcp_get_pernet(net)->checksum_enabled; 61 : : } 62 : : - 63 : 4816 : int mptcp_allow_join_id0(const struct net *net) + 63 : 4836 : int mptcp_allow_join_id0(const struct net *net) 64 : : { - 65 : 4816 : return mptcp_get_pernet(net)->allow_join_initial_addr_port; + 65 : 4836 : return mptcp_get_pernet(net)->allow_join_initial_addr_port; 66 : : } 67 : : - 68 : 307 : unsigned int mptcp_stale_loss_cnt(const struct net *net) + 68 : 223 : unsigned int mptcp_stale_loss_cnt(const struct net *net) 69 : : { - 70 : 307 : return mptcp_get_pernet(net)->stale_loss_cnt; + 70 : 223 : return mptcp_get_pernet(net)->stale_loss_cnt; 71 : : } 72 : : - 73 : 3235 : unsigned int mptcp_close_timeout(const struct sock *sk) + 73 : 3184 : unsigned int mptcp_close_timeout(const struct sock *sk) 74 : : { - 75 [ + + ]: 3235 : if (sock_flag(sk, SOCK_DEAD)) + 75 [ + + ]: 3184 : if (sock_flag(sk, SOCK_DEAD)) 76 : : return TCP_TIMEWAIT_LEN; 77 : 114 : return mptcp_get_pernet(sock_net(sk))->close_timeout; 78 : : } @@ -467,24 +467,24 @@ 388 : 1118 : } 389 : : 390 : : /* Check the number of retransmissions, and fallback to TCP if needed */ - 391 : 798 : void mptcp_active_detect_blackhole(struct sock *ssk, bool expired) + 391 : 796 : void mptcp_active_detect_blackhole(struct sock *ssk, bool expired) 392 : : { - 393 : 798 : struct mptcp_subflow_context *subflow; - 394 : 798 : u32 timeouts; + 393 : 796 : struct mptcp_subflow_context *subflow; + 394 : 796 : u32 timeouts; 395 : : - 396 [ + + + - ]: 798 : if (!sk_is_mptcp(ssk)) + 396 [ + + + - ]: 796 : if (!sk_is_mptcp(ssk)) 397 : : return; 398 : : - 399 : 798 : timeouts = inet_csk(ssk)->icsk_retransmits; - 400 [ + + ]: 798 : subflow = mptcp_subflow_ctx(ssk); + 399 : 796 : timeouts = inet_csk(ssk)->icsk_retransmits; + 400 [ + + ]: 796 : subflow = mptcp_subflow_ctx(ssk); 401 : : - 402 [ + + + + ]: 798 : if (subflow->request_mptcp && ssk->sk_state == TCP_SYN_SENT) { - 403 [ + + + + ]: 32 : if (timeouts == 2 || (timeouts < 2 && expired)) { + 402 [ + + + + ]: 796 : if (subflow->request_mptcp && ssk->sk_state == TCP_SYN_SENT) { + 403 [ + + + + ]: 30 : if (timeouts == 2 || (timeouts < 2 && expired)) { 404 [ + - ]: 12 : MPTCP_INC_STATS(sock_net(ssk), MPTCP_MIB_MPCAPABLEACTIVEDROP); 405 : 12 : subflow->mpc_drop = 1; 406 [ - + ]: 12 : mptcp_subflow_early_fallback(mptcp_sk(subflow->conn), subflow); 407 : : } else { - 408 : 20 : subflow->mpc_drop = 0; + 408 : 18 : subflow->mpc_drop = 0; 409 : : } 410 : : } 411 : : } diff --git a/html/lcov/export/mptcp/diag.c.func-c.html b/html/lcov/export/mptcp/diag.c.func-c.html index f9495592..4b0bb723 100644 --- a/html/lcov/export/mptcp/diag.c.func-c.html +++ b/html/lcov/export/mptcp/diag.c.func-c.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 66.7 % diff --git a/html/lcov/export/mptcp/diag.c.func.html b/html/lcov/export/mptcp/diag.c.func.html index 09ebced9..23eca248 100644 --- a/html/lcov/export/mptcp/diag.c.func.html +++ b/html/lcov/export/mptcp/diag.c.func.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 66.7 % diff --git a/html/lcov/export/mptcp/diag.c.gcov.html b/html/lcov/export/mptcp/diag.c.gcov.html index eadd4631..ab3aedf2 100644 --- a/html/lcov/export/mptcp/diag.c.gcov.html +++ b/html/lcov/export/mptcp/diag.c.gcov.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 66.7 % diff --git a/html/lcov/export/mptcp/fastopen.c.func-c.html b/html/lcov/export/mptcp/fastopen.c.func-c.html index a367bdb2..8e3102ab 100644 --- a/html/lcov/export/mptcp/fastopen.c.func-c.html +++ b/html/lcov/export/mptcp/fastopen.c.func-c.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -56,9 +56,9 @@ Branches: - 54.5 % + 50.0 % 22 - 12 + 11 diff --git a/html/lcov/export/mptcp/fastopen.c.func.html b/html/lcov/export/mptcp/fastopen.c.func.html index 41aaf352..fe3023dc 100644 --- a/html/lcov/export/mptcp/fastopen.c.func.html +++ b/html/lcov/export/mptcp/fastopen.c.func.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -56,9 +56,9 @@ Branches: - 54.5 % + 50.0 % 22 - 12 + 11 diff --git a/html/lcov/export/mptcp/fastopen.c.gcov.html b/html/lcov/export/mptcp/fastopen.c.gcov.html index 6ab9fb80..048821e1 100644 --- a/html/lcov/export/mptcp/fastopen.c.gcov.html +++ b/html/lcov/export/mptcp/fastopen.c.gcov.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -56,9 +56,9 @@ Branches: - 54.5 % + 50.0 % 22 - 12 + 11 @@ -143,14 +143,14 @@ 65 : 26 : struct sock *sk = (struct sock *)msk; 66 : 26 : struct sk_buff *skb; 67 : : - 68 [ + + ]: 26 : skb = skb_peek_tail(&sk->sk_receive_queue); - 69 [ + - ]: 25 : if (skb) { - 70 [ - + ]: 25 : WARN_ON_ONCE(MPTCP_SKB_CB(skb)->end_seq); - 71 [ - + ]: 25 : pr_debug("msk %p moving seq %llx -> %llx end_seq %llx -> %llx\n", sk, + 68 [ + - ]: 26 : skb = skb_peek_tail(&sk->sk_receive_queue); + 69 [ + - ]: 26 : if (skb) { + 70 [ - + ]: 26 : WARN_ON_ONCE(MPTCP_SKB_CB(skb)->end_seq); + 71 [ - + ]: 26 : pr_debug("msk %p moving seq %llx -> %llx end_seq %llx -> %llx\n", sk, 72 : : MPTCP_SKB_CB(skb)->map_seq, MPTCP_SKB_CB(skb)->map_seq + msk->ack_seq, 73 : : MPTCP_SKB_CB(skb)->end_seq, MPTCP_SKB_CB(skb)->end_seq + msk->ack_seq); - 74 : 25 : MPTCP_SKB_CB(skb)->map_seq += msk->ack_seq; - 75 : 25 : MPTCP_SKB_CB(skb)->end_seq += msk->ack_seq; + 74 : 26 : MPTCP_SKB_CB(skb)->map_seq += msk->ack_seq; + 75 : 26 : MPTCP_SKB_CB(skb)->end_seq += msk->ack_seq; 76 : : } 77 : : 78 [ - + ]: 26 : pr_debug("msk=%p ack_seq=%llx\n", msk, msk->ack_seq); diff --git a/html/lcov/export/mptcp/mib.c.func-c.html b/html/lcov/export/mptcp/mib.c.func-c.html index f8c9f564..29ea88cc 100644 --- a/html/lcov/export/mptcp/mib.c.func-c.html +++ b/html/lcov/export/mptcp/mib.c.func-c.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % diff --git a/html/lcov/export/mptcp/mib.c.func.html b/html/lcov/export/mptcp/mib.c.func.html index 99effd2c..6538e342 100644 --- a/html/lcov/export/mptcp/mib.c.func.html +++ b/html/lcov/export/mptcp/mib.c.func.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % diff --git a/html/lcov/export/mptcp/mib.c.gcov.html b/html/lcov/export/mptcp/mib.c.gcov.html index 93ca6098..cdf594b4 100644 --- a/html/lcov/export/mptcp/mib.c.gcov.html +++ b/html/lcov/export/mptcp/mib.c.gcov.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % diff --git a/html/lcov/export/mptcp/mib.h.func-c.html b/html/lcov/export/mptcp/mib.h.func-c.html index a1741f9d..6319bd28 100644 --- a/html/lcov/export/mptcp/mib.h.func-c.html +++ b/html/lcov/export/mptcp/mib.h.func-c.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -56,9 +56,9 @@ Branches: - 41.3 % - 254 - 105 + 45.1 % + 206 + 93 diff --git a/html/lcov/export/mptcp/mib.h.func.html b/html/lcov/export/mptcp/mib.h.func.html index 133ea39f..d3aec49e 100644 --- a/html/lcov/export/mptcp/mib.h.func.html +++ b/html/lcov/export/mptcp/mib.h.func.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -56,9 +56,9 @@ Branches: - 41.3 % - 254 - 105 + 45.1 % + 206 + 93 diff --git a/html/lcov/export/mptcp/mib.h.gcov.html b/html/lcov/export/mptcp/mib.h.gcov.html index 3ce0be7f..a4f6ae9a 100644 --- a/html/lcov/export/mptcp/mib.h.gcov.html +++ b/html/lcov/export/mptcp/mib.h.gcov.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -56,9 +56,9 @@ Branches: - 41.3 % - 254 - 105 + 45.1 % + 206 + 93 @@ -178,56 +178,47 @@ 99 : 0 : static inline void MPTCP_INC_STATS(struct net *net, 100 : : enum linux_mptcp_mib_field field) 101 : : { - 102 [ + - + - : 338064 : if (likely(net->mib.mptcp_statistics)) - + - + - + + 102 [ + - + - : 335535 : if (likely(net->mib.mptcp_statistics)) + + - + - + - + - - - - - + - - + - - + - - + - + - + - - + - - - - + - + - + - - + - + - + + - + - + + - + - - - + + - + - + + - + - + - + - - - - - - - + - + - + - ] - [ + - - - - - - + - + - - - - + - - - - - - - - - + - - - - + - + - + - - - - ][ + - - + - - - - + - + - + - - + - + - - + - + - + - - - - + - - + - + - + - - + - + - - + - + - + - - + - + - - - - - - - - - - - - - - - - ] + [ + - # # ] + [ + - + - + - - + - + + - + - + - + + - + - + + - + - - - + + - + - + + - + - + - + + - + - + + - + - + - + + - ] [ + - + - ] - [ + - + - - - + + - + - - + - + - - + - + - + - - + - + - - + - + - + - - + - + - - + - + - - - - - - + - + [ + - - - + - + + - + + - + - + - + + - + - + + - + - + - + + - + - + + - + - + - + + - + - - + - - - + - - - ] - 103 [ - + - + : 275341 : SNMP_INC_STATS(net->mib.mptcp_statistics, field); - - + - + + - + + + + - + ][ - + + - + + + - + - - + - + - - + ][ - + + - + + + ] + 103 [ - + - + : 244165 : SNMP_INC_STATS(net->mib.mptcp_statistics, field); + - + - + + + + + + + + + ][ - + + + + + + ][ - + + + + + + + ] 104 : : } 105 : : 106 : 0 : static inline void __MPTCP_INC_STATS(struct net *net, diff --git a/html/lcov/export/mptcp/mptcp_diag.c.func-c.html b/html/lcov/export/mptcp/mptcp_diag.c.func-c.html index cd5687aa..4a8f5572 100644 --- a/html/lcov/export/mptcp/mptcp_diag.c.func-c.html +++ b/html/lcov/export/mptcp/mptcp_diag.c.func-c.html @@ -31,13 +31,13 @@ export Lines: - 72.9 % + 73.7 % 133 - 97 + 98 Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 71.4 % @@ -56,9 +56,9 @@ Branches: - 64.3 % + 65.7 % 70 - 45 + 46 @@ -102,28 +102,28 @@ mptcp_diag_dump_listeners - 66 + 68 mptcp_diag_dump - 730 + 732 mptcp_diag_get_info - 1301 + 1290 sk_diag_dump - 1333 + 1322 diff --git a/html/lcov/export/mptcp/mptcp_diag.c.func.html b/html/lcov/export/mptcp/mptcp_diag.c.func.html index 45c8bf1d..42da7e09 100644 --- a/html/lcov/export/mptcp/mptcp_diag.c.func.html +++ b/html/lcov/export/mptcp/mptcp_diag.c.func.html @@ -31,13 +31,13 @@ export Lines: - 72.9 % + 73.7 % 133 - 97 + 98 Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 71.4 % @@ -56,9 +56,9 @@ Branches: - 64.3 % + 65.7 % 70 - 45 + 46 @@ -81,14 +81,14 @@ mptcp_diag_dump - 730 + 732 mptcp_diag_dump_listeners - 66 + 68 @@ -109,7 +109,7 @@ mptcp_diag_get_info - 1301 + 1290 @@ -123,7 +123,7 @@ sk_diag_dump - 1333 + 1322 diff --git a/html/lcov/export/mptcp/mptcp_diag.c.gcov.html b/html/lcov/export/mptcp/mptcp_diag.c.gcov.html index 504d469b..7498dd95 100644 --- a/html/lcov/export/mptcp/mptcp_diag.c.gcov.html +++ b/html/lcov/export/mptcp/mptcp_diag.c.gcov.html @@ -31,13 +31,13 @@ export Lines: - 72.9 % + 73.7 % 133 - 97 + 98 Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 71.4 % @@ -56,9 +56,9 @@ Branches: - 64.3 % + 65.7 % 70 - 45 + 46 @@ -90,15 +90,15 @@ 12 : : #include <net/netlink.h> 13 : : #include "protocol.h" 14 : : - 15 : 1333 : static int sk_diag_dump(struct sock *sk, struct sk_buff *skb, + 15 : 1322 : static int sk_diag_dump(struct sock *sk, struct sk_buff *skb, 16 : : struct netlink_callback *cb, 17 : : const struct inet_diag_req_v2 *req, 18 : : struct nlattr *bc, bool net_admin) 19 : : { - 20 [ + + ]: 1333 : if (!inet_diag_bc_sk(bc, sk)) + 20 [ + + ]: 1322 : if (!inet_diag_bc_sk(bc, sk)) 21 : : return 0; 22 : : - 23 : 1319 : return inet_sk_diag_fill(sk, inet_csk(sk), skb, cb, req, NLM_F_MULTI, + 23 : 1308 : return inet_sk_diag_fill(sk, inet_csk(sk), skb, cb, req, NLM_F_MULTI, 24 : : net_admin); 25 : : } 26 : : @@ -150,20 +150,20 @@ 72 : : unsigned int l_num; 73 : : }; 74 : : - 75 : 66 : static void mptcp_diag_dump_listeners(struct sk_buff *skb, struct netlink_callback *cb, + 75 : 68 : static void mptcp_diag_dump_listeners(struct sk_buff *skb, struct netlink_callback *cb, 76 : : const struct inet_diag_req_v2 *r, 77 : : bool net_admin) 78 : : { - 79 : 66 : struct inet_diag_dump_data *cb_data = cb->data; - 80 : 66 : struct mptcp_diag_ctx *diag_ctx = (void *)cb->ctx; - 81 : 66 : struct nlattr *bc = cb_data->inet_diag_nla_bc; - 82 : 66 : struct net *net = sock_net(skb->sk); - 83 : 66 : struct inet_hashinfo *hinfo; - 84 : 66 : int i; + 79 : 68 : struct inet_diag_dump_data *cb_data = cb->data; + 80 : 68 : struct mptcp_diag_ctx *diag_ctx = (void *)cb->ctx; + 81 : 68 : struct nlattr *bc = cb_data->inet_diag_nla_bc; + 82 : 68 : struct net *net = sock_net(skb->sk); + 83 : 68 : struct inet_hashinfo *hinfo; + 84 : 68 : int i; 85 : : - 86 : 66 : hinfo = net->ipv4.tcp_death_row.hashinfo; + 86 : 68 : hinfo = net->ipv4.tcp_death_row.hashinfo; 87 : : - 88 [ + + ]: 102466 : for (i = diag_ctx->l_slot; i <= hinfo->lhash2_mask; i++) { + 88 [ + + ]: 102468 : for (i = diag_ctx->l_slot; i <= hinfo->lhash2_mask; i++) { 89 : 102406 : struct inet_listen_hashbucket *ilb; 90 : 102406 : struct hlist_nulls_node *node; 91 : 102406 : struct sock *sk; @@ -181,37 +181,37 @@ 103 [ - + ]: 626 : if (num < diag_ctx->l_num) 104 : 0 : goto next_listen; 105 : : - 106 [ + - - + ]: 626 : if (!ctx || strcmp(inet_csk(sk)->icsk_ulp_ops->name, "mptcp")) - 107 : 0 : goto next_listen; + 106 [ + + - + ]: 626 : if (!ctx || strcmp(inet_csk(sk)->icsk_ulp_ops->name, "mptcp")) + 107 : 2 : goto next_listen; 108 : : - 109 : 626 : sk = ctx->conn; - 110 [ + - + + ]: 948 : if (!sk || !net_eq(sock_net(sk), net)) + 109 : 624 : sk = ctx->conn; + 110 [ + - + + ]: 932 : if (!sk || !net_eq(sock_net(sk), net)) 111 : 4 : goto next_listen; 112 : : - 113 [ + - ]: 622 : if (r->sdiag_family != AF_UNSPEC && - 114 [ + + ]: 622 : sk->sk_family != r->sdiag_family) - 115 : 307 : goto next_listen; + 113 [ + - ]: 620 : if (r->sdiag_family != AF_UNSPEC && + 114 [ + + ]: 620 : sk->sk_family != r->sdiag_family) + 115 : 306 : goto next_listen; 116 : : - 117 [ + - - + ]: 315 : if (r->id.idiag_sport != inet->inet_sport && + 117 [ + - - + ]: 314 : if (r->id.idiag_sport != inet->inet_sport && 118 : : r->id.idiag_sport) 119 : 0 : goto next_listen; 120 : : - 121 [ - + ]: 315 : if (!refcount_inc_not_zero(&sk->sk_refcnt)) + 121 [ - + ]: 314 : if (!refcount_inc_not_zero(&sk->sk_refcnt)) 122 : 0 : goto next_listen; 123 : : - 124 : 315 : ret = sk_diag_dump(sk, skb, cb, r, bc, net_admin); + 124 : 314 : ret = sk_diag_dump(sk, skb, cb, r, bc, net_admin); 125 : : - 126 : 315 : sock_put(sk); + 126 : 314 : sock_put(sk); 127 : : - 128 [ + + ]: 315 : if (ret < 0) { + 128 [ + + ]: 314 : if (ret < 0) { 129 : 6 : spin_unlock(&ilb->lock); 130 : 6 : rcu_read_unlock(); 131 : 6 : diag_ctx->l_slot = i; 132 : 6 : diag_ctx->l_num = num; 133 : 6 : return; 134 : : } - 135 : 309 : diag_ctx->l_num = num + 1; - 136 : 309 : num = 0; + 135 : 308 : diag_ctx->l_num = num + 1; + 136 : 308 : num = 0; 137 : 620 : next_listen: 138 : 620 : ++num; 139 : : } @@ -222,83 +222,83 @@ 144 : 102400 : diag_ctx->l_num = 0; 145 : : } 146 : : - 147 : 60 : diag_ctx->l_num = 0; - 148 : 60 : diag_ctx->l_slot = i; + 147 : 62 : diag_ctx->l_num = 0; + 148 : 62 : diag_ctx->l_slot = i; 149 : : } 150 : : - 151 : 730 : static void mptcp_diag_dump(struct sk_buff *skb, struct netlink_callback *cb, + 151 : 732 : static void mptcp_diag_dump(struct sk_buff *skb, struct netlink_callback *cb, 152 : : const struct inet_diag_req_v2 *r) 153 : : { - 154 : 730 : bool net_admin = netlink_net_capable(cb->skb, CAP_NET_ADMIN); - 155 : 730 : struct mptcp_diag_ctx *diag_ctx = (void *)cb->ctx; - 156 : 730 : struct net *net = sock_net(skb->sk); - 157 : 730 : struct inet_diag_dump_data *cb_data; - 158 : 730 : struct mptcp_sock *msk; - 159 : 730 : struct nlattr *bc; + 154 : 732 : bool net_admin = netlink_net_capable(cb->skb, CAP_NET_ADMIN); + 155 : 732 : struct mptcp_diag_ctx *diag_ctx = (void *)cb->ctx; + 156 : 732 : struct net *net = sock_net(skb->sk); + 157 : 732 : struct inet_diag_dump_data *cb_data; + 158 : 732 : struct mptcp_sock *msk; + 159 : 732 : struct nlattr *bc; 160 : : - 161 : 730 : BUILD_BUG_ON(sizeof(cb->ctx) < sizeof(*diag_ctx)); + 161 : 732 : BUILD_BUG_ON(sizeof(cb->ctx) < sizeof(*diag_ctx)); 162 : : - 163 : 730 : cb_data = cb->data; - 164 : 730 : bc = cb_data->inet_diag_nla_bc; + 163 : 732 : cb_data = cb->data; + 164 : 732 : bc = cb_data->inet_diag_nla_bc; 165 : : - 166 : 730 : while ((msk = mptcp_token_iter_next(net, &diag_ctx->s_slot, - 167 [ + + ]: 3554 : &diag_ctx->s_num)) != NULL) { - 168 : 2836 : struct inet_sock *inet = (struct inet_sock *)msk; - 169 : 2836 : struct sock *sk = (struct sock *)msk; - 170 : 2836 : int ret = 0; + 166 : 732 : while ((msk = mptcp_token_iter_next(net, &diag_ctx->s_slot, + 167 [ + + ]: 3540 : &diag_ctx->s_num)) != NULL) { + 168 : 2820 : struct inet_sock *inet = (struct inet_sock *)msk; + 169 : 2820 : struct sock *sk = (struct sock *)msk; + 170 : 2820 : int ret = 0; 171 : : - 172 [ + + + + ]: 2836 : if (!(r->idiag_states & (1 << sk->sk_state))) + 172 [ + + + + ]: 2820 : if (!(r->idiag_states & (1 << sk->sk_state))) 173 : 812 : goto next; - 174 [ + - ]: 2024 : if (r->sdiag_family != AF_UNSPEC && - 175 [ + + ]: 2024 : sk->sk_family != r->sdiag_family) - 176 : 1006 : goto next; - 177 [ + - - + ]: 1018 : if (r->id.idiag_sport != inet->inet_sport && + 174 [ + - ]: 2008 : if (r->sdiag_family != AF_UNSPEC && + 175 [ + + ]: 2008 : sk->sk_family != r->sdiag_family) + 176 : 1000 : goto next; + 177 [ + - - + ]: 1008 : if (r->id.idiag_sport != inet->inet_sport && 178 : : r->id.idiag_sport) 179 : 0 : goto next; - 180 [ + - - + ]: 1018 : if (r->id.idiag_dport != inet->inet_dport && + 180 [ + - - + ]: 1008 : if (r->id.idiag_dport != inet->inet_dport && 181 : : r->id.idiag_dport) 182 : 0 : goto next; 183 : : - 184 : 1018 : ret = sk_diag_dump(sk, skb, cb, r, bc, net_admin); - 185 : 2836 : next: - 186 : 2836 : sock_put(sk); - 187 [ + + ]: 2836 : if (ret < 0) { + 184 : 1008 : ret = sk_diag_dump(sk, skb, cb, r, bc, net_admin); + 185 : 2820 : next: + 186 : 2820 : sock_put(sk); + 187 [ + + ]: 2820 : if (ret < 0) { 188 : : /* will retry on the same position */ 189 : 12 : diag_ctx->s_num--; 190 : 12 : break; 191 : : } - 192 : 2824 : cond_resched(); + 192 : 2808 : cond_resched(); 193 : : } 194 : : - 195 [ + + + - ]: 730 : if ((r->idiag_states & TCPF_LISTEN) && r->id.idiag_dport == 0) - 196 : 66 : mptcp_diag_dump_listeners(skb, cb, r, net_admin); - 197 : 730 : } + 195 [ + + + - ]: 732 : if ((r->idiag_states & TCPF_LISTEN) && r->id.idiag_dport == 0) + 196 : 68 : mptcp_diag_dump_listeners(skb, cb, r, net_admin); + 197 : 732 : } 198 : : - 199 : 1301 : static void mptcp_diag_get_info(struct sock *sk, struct inet_diag_msg *r, + 199 : 1290 : static void mptcp_diag_get_info(struct sock *sk, struct inet_diag_msg *r, 200 : : void *_info) 201 : : { - 202 [ - + ]: 1301 : struct mptcp_sock *msk = mptcp_sk(sk); - 203 : 1301 : struct mptcp_info *info = _info; + 202 [ - + ]: 1290 : struct mptcp_sock *msk = mptcp_sk(sk); + 203 : 1290 : struct mptcp_info *info = _info; 204 : : - 205 : 1301 : r->idiag_rqueue = sk_rmem_alloc_get(sk); - 206 : 1301 : r->idiag_wqueue = sk_wmem_alloc_get(sk); + 205 : 1290 : r->idiag_rqueue = sk_rmem_alloc_get(sk); + 206 : 1290 : r->idiag_wqueue = sk_wmem_alloc_get(sk); 207 : : - 208 [ + + ]: 1301 : if (inet_sk_state_load(sk) == TCP_LISTEN) { - 209 : 307 : struct sock *lsk = READ_ONCE(msk->first); + 208 [ + + ]: 1290 : if (inet_sk_state_load(sk) == TCP_LISTEN) { + 209 : 306 : struct sock *lsk = READ_ONCE(msk->first); 210 : : - 211 [ + - ]: 307 : if (lsk) { + 211 [ + - ]: 306 : if (lsk) { 212 : : /* override with settings from tcp listener, 213 : : * so Send-Q will show accept queue. 214 : : */ - 215 : 307 : r->idiag_rqueue = READ_ONCE(lsk->sk_ack_backlog); - 216 : 307 : r->idiag_wqueue = READ_ONCE(lsk->sk_max_ack_backlog); + 215 : 306 : r->idiag_rqueue = READ_ONCE(lsk->sk_ack_backlog); + 216 : 306 : r->idiag_wqueue = READ_ONCE(lsk->sk_max_ack_backlog); 217 : : } 218 : : } 219 : : - 220 [ + + ]: 1301 : if (!info) + 220 [ + + ]: 1290 : if (!info) 221 : : return; 222 : : - 223 : 994 : mptcp_diag_fill_info(msk, info); + 223 : 984 : mptcp_diag_fill_info(msk, info); 224 : : } 225 : : 226 : : static const struct inet_diag_handler mptcp_diag_handler = { diff --git a/html/lcov/export/mptcp/options.c.func-c.html b/html/lcov/export/mptcp/options.c.func-c.html index e1c38d1e..ec511f68 100644 --- a/html/lcov/export/mptcp/options.c.func-c.html +++ b/html/lcov/export/mptcp/options.c.func-c.html @@ -31,13 +31,13 @@ export Lines: - 98.3 % + 98.1 % 873 - 858 + 856 Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -56,9 +56,9 @@ Branches: - 77.5 % + 77.4 % 689 - 534 + 533 @@ -88,14 +88,14 @@ mptcp_established_options_fastclose - 422 + 436 mptcp_established_options_rst - 422 + 436 @@ -123,147 +123,147 @@ mptcp_synack_options - 1783 + 1779 mptcp_syn_options - 1862 + 1857 mptcp_make_csum - 1874 + 1907 __mptcp_make_csum - 2014 + 2039 mptcp_update_rcv_data_fin - 10500 + 9719 mptcp_write_data_fin - 30900 + 25840 __mptcp_expand_seq - 161694 + 95378 mptcp_set_rwin - 862086 + 731359 mptcp_write_options - 864219 + 733502 ack_update_msk - 1012426 + 859000 check_fully_established - 1015888 + 862486 mptcp_get_options - 1021103 + 867702 mptcp_parse_option - 1021186 + 867798 mptcp_incoming_options - 1029408 + 870802 mptcp_established_options_dss - 2042915 + 1749603 mptcp_established_options_mp_fail - 2042978 + 1749663 mptcp_established_options_rm_addr - 2044363 + 1751071 mptcp_established_options_add_addr - 2045118 + 1751826 mptcp_established_options_mp_prio - 2045118 + 1751826 mptcp_established_options_mp - 2045122 + 1751830 mptcp_established_options - 2110018 + 1793622 diff --git a/html/lcov/export/mptcp/options.c.func.html b/html/lcov/export/mptcp/options.c.func.html index 79d67aa5..5b23ba86 100644 --- a/html/lcov/export/mptcp/options.c.func.html +++ b/html/lcov/export/mptcp/options.c.func.html @@ -31,13 +31,13 @@ export Lines: - 98.3 % + 98.1 % 873 - 858 + 856 Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -56,9 +56,9 @@ Branches: - 77.5 % + 77.4 % 689 - 534 + 533 @@ -81,21 +81,21 @@ __mptcp_expand_seq - 161694 + 95378 __mptcp_make_csum - 2014 + 2039 ack_update_msk - 1012426 + 859000 @@ -116,7 +116,7 @@ check_fully_established - 1015888 + 862486 @@ -130,70 +130,70 @@ mptcp_established_options - 2110018 + 1793622 mptcp_established_options_add_addr - 2045118 + 1751826 mptcp_established_options_dss - 2042915 + 1749603 mptcp_established_options_fastclose - 422 + 436 mptcp_established_options_mp - 2045122 + 1751830 mptcp_established_options_mp_fail - 2042978 + 1749663 mptcp_established_options_mp_prio - 2045118 + 1751826 mptcp_established_options_rm_addr - 2044363 + 1751071 mptcp_established_options_rst - 422 + 436 mptcp_get_options - 1021103 + 867702 @@ -207,63 +207,63 @@ mptcp_incoming_options - 1029408 + 870802 mptcp_make_csum - 1874 + 1907 mptcp_parse_option - 1021186 + 867798 mptcp_set_rwin - 862086 + 731359 mptcp_syn_options - 1862 + 1857 mptcp_synack_options - 1783 + 1779 mptcp_update_rcv_data_fin - 10500 + 9719 mptcp_write_data_fin - 30900 + 25840 mptcp_write_options - 864219 + 733502 diff --git a/html/lcov/export/mptcp/options.c.gcov.html b/html/lcov/export/mptcp/options.c.gcov.html index 57dc85d5..4d567381 100644 --- a/html/lcov/export/mptcp/options.c.gcov.html +++ b/html/lcov/export/mptcp/options.c.gcov.html @@ -31,13 +31,13 @@ export Lines: - 98.3 % + 98.1 % 873 - 858 + 856 Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -56,9 +56,9 @@ Branches: - 77.5 % + 77.4 % 689 - 534 + 533 @@ -98,27 +98,27 @@ 20 : : return (flags & MPTCP_CAP_FLAG_MASK) == MPTCP_CAP_HMAC_SHA256; 21 : : } 22 : : - 23 : 1021186 : static void mptcp_parse_option(const struct sk_buff *skb, + 23 : 867798 : static void mptcp_parse_option(const struct sk_buff *skb, 24 : : const unsigned char *ptr, int opsize, 25 : : struct mptcp_options_received *mp_opt) 26 : : { - 27 : 1021186 : u8 subtype = *ptr >> 4; - 28 : 1021186 : int expected_opsize; - 29 : 1021186 : u16 subopt; - 30 : 1021186 : u8 version; - 31 : 1021186 : u8 flags; - 32 : 1021186 : u8 i; + 27 : 867798 : u8 subtype = *ptr >> 4; + 28 : 867798 : int expected_opsize; + 29 : 867798 : u16 subopt; + 30 : 867798 : u8 version; + 31 : 867798 : u8 flags; + 32 : 867798 : u8 i; 33 : : - 34 [ + + + + : 1021186 : switch (subtype) { - + + + + + + 34 [ + + + + : 867798 : switch (subtype) { + + + + + + - ] - 35 : 5335 : case MPTCPOPT_MP_CAPABLE: + 35 : 5336 : case MPTCPOPT_MP_CAPABLE: 36 : : /* strict size checking */ - 37 [ + + ]: 5335 : if (!(TCP_SKB_CB(skb)->tcp_flags & TCPHDR_SYN)) { - 38 [ + + ]: 2955 : if (skb->len > tcp_hdr(skb)->doff << 2) + 37 [ + + ]: 5336 : if (!(TCP_SKB_CB(skb)->tcp_flags & TCPHDR_SYN)) { + 38 [ + + ]: 2956 : if (skb->len > tcp_hdr(skb)->doff << 2) 39 : : expected_opsize = TCPOLEN_MPTCP_MPC_ACK_DATA; 40 : : else - 41 : 2309 : expected_opsize = TCPOLEN_MPTCP_MPC_ACK; + 41 : 2308 : expected_opsize = TCPOLEN_MPTCP_MPC_ACK; 42 : : subopt = OPTION_MPTCP_MPC_ACK; 43 : : } else { 44 [ + + ]: 2380 : if (TCP_SKB_CB(skb)->tcp_flags & TCPHDR_ACK) { @@ -140,22 +140,22 @@ 60 : : * We parse even option with mismatching csum presence, so that 61 : : * later in subflow_data_ready we can trigger the reset. 62 : : */ - 63 [ + + ]: 5335 : if (opsize != expected_opsize && + 63 [ + + ]: 5336 : if (opsize != expected_opsize && 64 : 16 : (expected_opsize != TCPOLEN_MPTCP_MPC_ACK_DATA || 65 [ + + ]: 16 : opsize != TCPOLEN_MPTCP_MPC_ACK_DATA_CSUM)) 66 : : break; 67 : : 68 : : /* try to be gentle vs future versions on the initial syn */ - 69 : 5323 : version = *ptr++ & MPTCP_VERSION_MASK; - 70 [ + + ]: 5323 : if (opsize != TCPOLEN_MPTCP_MPC_SYN) { - 71 [ + + ]: 4085 : if (version != MPTCP_SUPPORTED_VERSION) + 69 : 5324 : version = *ptr++ & MPTCP_VERSION_MASK; + 70 [ + + ]: 5324 : if (opsize != TCPOLEN_MPTCP_MPC_SYN) { + 71 [ + + ]: 4086 : if (version != MPTCP_SUPPORTED_VERSION) 72 : : break; 73 [ + - ]: 1238 : } else if (version < MPTCP_SUPPORTED_VERSION) { 74 : : break; 75 : : } 76 : : - 77 : 5317 : flags = *ptr++; - 78 [ + + + + ]: 5317 : if (!mptcp_cap_flag_sha256(flags) || + 77 : 5318 : flags = *ptr++; + 78 [ + + + + ]: 5318 : if (!mptcp_cap_flag_sha256(flags) || 79 : : (flags & MPTCP_CAP_EXTENSIBILITY)) 80 : : break; 81 : : @@ -165,45 +165,45 @@ 85 : : * In other words, the only way for checksums not to be used 86 : : * is if both hosts in their SYNs set A=0." 87 : : */ - 88 [ + + ]: 5281 : if (flags & MPTCP_CAP_CHECKSUM_REQD) + 88 [ + + ]: 5282 : if (flags & MPTCP_CAP_CHECKSUM_REQD) 89 : 40 : mp_opt->suboptions |= OPTION_MPTCP_CSUMREQD; 90 : : - 91 : 5281 : mp_opt->deny_join_id0 = !!(flags & MPTCP_CAP_DENY_JOIN_ID0); + 91 : 5282 : mp_opt->deny_join_id0 = !!(flags & MPTCP_CAP_DENY_JOIN_ID0); 92 : : - 93 : 5281 : mp_opt->suboptions |= subopt; - 94 [ + + ]: 5281 : if (opsize >= TCPOLEN_MPTCP_MPC_SYNACK) { - 95 [ + + ]: 4055 : mp_opt->sndr_key = get_unaligned_be64(ptr); - 96 : 4055 : ptr += 8; + 93 : 5282 : mp_opt->suboptions |= subopt; + 94 [ + + ]: 5282 : if (opsize >= TCPOLEN_MPTCP_MPC_SYNACK) { + 95 [ + + ]: 4056 : mp_opt->sndr_key = get_unaligned_be64(ptr); + 96 : 4056 : ptr += 8; 97 : : } - 98 [ + + ]: 4055 : if (opsize >= TCPOLEN_MPTCP_MPC_ACK) { - 99 : 2937 : mp_opt->rcvr_key = get_unaligned_be64(ptr); - 100 : 2937 : ptr += 8; + 98 [ + + ]: 4056 : if (opsize >= TCPOLEN_MPTCP_MPC_ACK) { + 99 : 2938 : mp_opt->rcvr_key = get_unaligned_be64(ptr); + 100 : 2938 : ptr += 8; 101 : : } - 102 [ + + ]: 4163 : if (opsize >= TCPOLEN_MPTCP_MPC_ACK_DATA) { + 102 [ + + ]: 4164 : if (opsize >= TCPOLEN_MPTCP_MPC_ACK_DATA) { 103 : : /* Section 3.1.: 104 : : * "the data parameters in a MP_CAPABLE are semantically 105 : : * equivalent to those in a DSS option and can be used 106 : : * interchangeably." 107 : : */ - 108 : 646 : mp_opt->suboptions |= OPTION_MPTCP_DSS; - 109 : 646 : mp_opt->use_map = 1; - 110 : 646 : mp_opt->mpc_map = 1; - 111 : 646 : mp_opt->use_ack = 0; - 112 [ + + ]: 646 : mp_opt->data_len = get_unaligned_be16(ptr); - 113 : 646 : ptr += 2; + 108 : 648 : mp_opt->suboptions |= OPTION_MPTCP_DSS; + 109 : 648 : mp_opt->use_map = 1; + 110 : 648 : mp_opt->mpc_map = 1; + 111 : 648 : mp_opt->use_ack = 0; + 112 [ + + ]: 648 : mp_opt->data_len = get_unaligned_be16(ptr); + 113 : 648 : ptr += 2; 114 : : } - 115 [ + + ]: 646 : if (opsize == TCPOLEN_MPTCP_MPC_ACK_DATA_CSUM) { + 115 [ + + ]: 648 : if (opsize == TCPOLEN_MPTCP_MPC_ACK_DATA_CSUM) { 116 : 4 : mp_opt->csum = get_unaligned((__force __sum16 *)ptr); 117 : 4 : mp_opt->suboptions |= OPTION_MPTCP_CSUMREQD; 118 : 4 : ptr += 2; 119 : : } - 120 [ - + ]: 5281 : pr_debug("MP_CAPABLE version=%x, flags=%x, optlen=%d sndr=%llu, rcvr=%llu len=%d csum=%u\n", + 120 [ - + ]: 5282 : pr_debug("MP_CAPABLE version=%x, flags=%x, optlen=%d sndr=%llu, rcvr=%llu len=%d csum=%u\n", 121 : : version, flags, opsize, mp_opt->sndr_key, 122 : : mp_opt->rcvr_key, mp_opt->data_len, mp_opt->csum); 123 : : break; 124 : : - 125 : 2049 : case MPTCPOPT_MP_JOIN: - 126 [ + + ]: 2049 : if (opsize == TCPOLEN_MPTCP_MPJ_SYN) { + 125 : 2048 : case MPTCPOPT_MP_JOIN: + 126 [ + + ]: 2048 : if (opsize == TCPOLEN_MPTCP_MPJ_SYN) { 127 : 521 : mp_opt->suboptions |= OPTION_MPTCP_MPJ_SYN; 128 : 521 : mp_opt->backup = *ptr++ & MPTCPOPT_BACKUP; 129 : 521 : mp_opt->join_id = *ptr++; @@ -214,7 +214,7 @@ 134 [ - + ]: 521 : pr_debug("MP_JOIN bkup=%u, id=%u, token=%u, nonce=%u\n", 135 : : mp_opt->backup, mp_opt->join_id, 136 : : mp_opt->token, mp_opt->nonce); - 137 [ + + ]: 1528 : } else if (opsize == TCPOLEN_MPTCP_MPJ_SYNACK) { + 137 [ + + ]: 1527 : } else if (opsize == TCPOLEN_MPTCP_MPJ_SYNACK) { 138 : 487 : mp_opt->suboptions |= OPTION_MPTCP_MPJ_SYNACK; 139 : 487 : mp_opt->backup = *ptr++ & MPTCPOPT_BACKUP; 140 : 487 : mp_opt->join_id = *ptr++; @@ -225,47 +225,47 @@ 145 [ - + ]: 487 : pr_debug("MP_JOIN bkup=%u, id=%u, thmac=%llu, nonce=%u\n", 146 : : mp_opt->backup, mp_opt->join_id, 147 : : mp_opt->thmac, mp_opt->nonce); - 148 [ + - ]: 1041 : } else if (opsize == TCPOLEN_MPTCP_MPJ_ACK) { - 149 : 1041 : mp_opt->suboptions |= OPTION_MPTCP_MPJ_ACK; - 150 : 1041 : ptr += 2; - 151 : 1041 : memcpy(mp_opt->hmac, ptr, MPTCPOPT_HMAC_LEN); - 152 [ - + ]: 1041 : pr_debug("MP_JOIN hmac\n"); + 148 [ + - ]: 1040 : } else if (opsize == TCPOLEN_MPTCP_MPJ_ACK) { + 149 : 1040 : mp_opt->suboptions |= OPTION_MPTCP_MPJ_ACK; + 150 : 1040 : ptr += 2; + 151 : 1040 : memcpy(mp_opt->hmac, ptr, MPTCPOPT_HMAC_LEN); + 152 [ - + ]: 1040 : pr_debug("MP_JOIN hmac\n"); 153 : : } 154 : : break; 155 : : 156 : : case MPTCPOPT_DSS: - 157 [ - + ]: 1012426 : pr_debug("DSS\n"); - 158 : 1012426 : ptr++; + 157 [ - + ]: 859000 : pr_debug("DSS\n"); + 158 : 859000 : ptr++; 159 : : 160 : : /* we must clear 'mpc_map' be able to detect MP_CAPABLE 161 : : * map vs DSS map in mptcp_incoming_options(), and reconstruct 162 : : * map info accordingly 163 : : */ - 164 : 1012426 : mp_opt->mpc_map = 0; - 165 : 1012426 : flags = (*ptr++) & MPTCP_DSS_FLAG_MASK; - 166 : 1012426 : mp_opt->data_fin = (flags & MPTCP_DSS_DATA_FIN) != 0; - 167 : 1012426 : mp_opt->dsn64 = (flags & MPTCP_DSS_DSN64) != 0; - 168 : 1012426 : mp_opt->use_map = (flags & MPTCP_DSS_HAS_MAP) != 0; - 169 : 1012426 : mp_opt->ack64 = (flags & MPTCP_DSS_ACK64) != 0; - 170 : 1012426 : mp_opt->use_ack = (flags & MPTCP_DSS_HAS_ACK); + 164 : 859000 : mp_opt->mpc_map = 0; + 165 : 859000 : flags = (*ptr++) & MPTCP_DSS_FLAG_MASK; + 166 : 859000 : mp_opt->data_fin = (flags & MPTCP_DSS_DATA_FIN) != 0; + 167 : 859000 : mp_opt->dsn64 = (flags & MPTCP_DSS_DSN64) != 0; + 168 : 859000 : mp_opt->use_map = (flags & MPTCP_DSS_HAS_MAP) != 0; + 169 : 859000 : mp_opt->ack64 = (flags & MPTCP_DSS_ACK64) != 0; + 170 : 859000 : mp_opt->use_ack = (flags & MPTCP_DSS_HAS_ACK); 171 : : - 172 [ - + ]: 1012426 : pr_debug("data_fin=%d dsn64=%d use_map=%d ack64=%d use_ack=%d\n", + 172 [ - + ]: 859000 : pr_debug("data_fin=%d dsn64=%d use_map=%d ack64=%d use_ack=%d\n", 173 : : mp_opt->data_fin, mp_opt->dsn64, 174 : : mp_opt->use_map, mp_opt->ack64, 175 : : mp_opt->use_ack); 176 : : - 177 : 1012426 : expected_opsize = TCPOLEN_MPTCP_DSS_BASE; + 177 : 859000 : expected_opsize = TCPOLEN_MPTCP_DSS_BASE; 178 : : - 179 [ + - ]: 1012426 : if (mp_opt->use_ack) { - 180 [ + + ]: 1012426 : if (mp_opt->ack64) + 179 [ + - ]: 859000 : if (mp_opt->use_ack) { + 180 [ + + ]: 859000 : if (mp_opt->ack64) 181 : : expected_opsize += TCPOLEN_MPTCP_DSS_ACK64; 182 : : else - 183 : 161652 : expected_opsize += TCPOLEN_MPTCP_DSS_ACK32; + 183 : 95336 : expected_opsize += TCPOLEN_MPTCP_DSS_ACK32; 184 : : } 185 : : - 186 [ + + ]: 1012426 : if (mp_opt->use_map) { - 187 [ + + ]: 657011 : if (mp_opt->dsn64) - 188 : 656969 : expected_opsize += TCPOLEN_MPTCP_DSS_MAP64; + 186 [ + + ]: 859000 : if (mp_opt->use_map) { + 187 [ + + ]: 542200 : if (mp_opt->dsn64) + 188 : 542158 : expected_opsize += TCPOLEN_MPTCP_DSS_MAP64; 189 : : else 190 : 42 : expected_opsize += TCPOLEN_MPTCP_DSS_MAP32; 191 : : } @@ -273,45 +273,45 @@ 193 : : /* Always parse any csum presence combination, we will enforce 194 : : * RFC 8684 Section 3.3.0 checks later in subflow_data_ready 195 : : */ - 196 [ + + ]: 1012426 : if (opsize != expected_opsize && - 197 [ + - ]: 1874 : opsize != expected_opsize + TCPOLEN_MPTCP_DSS_CHECKSUM) + 196 [ + + ]: 859000 : if (opsize != expected_opsize && + 197 [ + - ]: 1907 : opsize != expected_opsize + TCPOLEN_MPTCP_DSS_CHECKSUM) 198 : : break; 199 : : - 200 : 1012426 : mp_opt->suboptions |= OPTION_MPTCP_DSS; - 201 [ + - ]: 1012426 : if (mp_opt->use_ack) { - 202 [ + + ]: 1012426 : if (mp_opt->ack64) { - 203 : 850774 : mp_opt->data_ack = get_unaligned_be64(ptr); - 204 : 850774 : ptr += 8; + 200 : 859000 : mp_opt->suboptions |= OPTION_MPTCP_DSS; + 201 [ + - ]: 859000 : if (mp_opt->use_ack) { + 202 [ + + ]: 859000 : if (mp_opt->ack64) { + 203 : 763664 : mp_opt->data_ack = get_unaligned_be64(ptr); + 204 : 763664 : ptr += 8; 205 : : } else { - 206 : 161652 : mp_opt->data_ack = get_unaligned_be32(ptr); - 207 : 161652 : ptr += 4; + 206 : 95336 : mp_opt->data_ack = get_unaligned_be32(ptr); + 207 : 95336 : ptr += 4; 208 : : } 209 : : - 210 [ - + ]: 1012426 : pr_debug("data_ack=%llu\n", mp_opt->data_ack); + 210 [ - + ]: 859000 : pr_debug("data_ack=%llu\n", mp_opt->data_ack); 211 : : } 212 : : - 213 [ + + ]: 1012426 : if (mp_opt->use_map) { - 214 [ + + ]: 657011 : if (mp_opt->dsn64) { - 215 : 656969 : mp_opt->data_seq = get_unaligned_be64(ptr); - 216 : 656969 : ptr += 8; + 213 [ + + ]: 859000 : if (mp_opt->use_map) { + 214 [ + + ]: 542200 : if (mp_opt->dsn64) { + 215 : 542158 : mp_opt->data_seq = get_unaligned_be64(ptr); + 216 : 542158 : ptr += 8; 217 : : } else { 218 : 42 : mp_opt->data_seq = get_unaligned_be32(ptr); 219 : 42 : ptr += 4; 220 : : } 221 : : - 222 [ + + ]: 657011 : mp_opt->subflow_seq = get_unaligned_be32(ptr); - 223 : 657011 : ptr += 4; + 222 [ + + ]: 542200 : mp_opt->subflow_seq = get_unaligned_be32(ptr); + 223 : 542200 : ptr += 4; 224 : : - 225 [ + + ]: 657011 : mp_opt->data_len = get_unaligned_be16(ptr); - 226 : 657011 : ptr += 2; + 225 [ + + ]: 542200 : mp_opt->data_len = get_unaligned_be16(ptr); + 226 : 542200 : ptr += 2; 227 : : - 228 [ + + ]: 657011 : if (opsize == expected_opsize + TCPOLEN_MPTCP_DSS_CHECKSUM) { - 229 : 1874 : mp_opt->suboptions |= OPTION_MPTCP_CSUMREQD; - 230 : 1874 : mp_opt->csum = get_unaligned((__force __sum16 *)ptr); - 231 : 1874 : ptr += 2; + 228 [ + + ]: 542200 : if (opsize == expected_opsize + TCPOLEN_MPTCP_DSS_CHECKSUM) { + 229 : 1907 : mp_opt->suboptions |= OPTION_MPTCP_CSUMREQD; + 230 : 1907 : mp_opt->csum = get_unaligned((__force __sum16 *)ptr); + 231 : 1907 : ptr += 2; 232 : : } 233 : : - 234 [ - + ]: 657011 : pr_debug("data_seq=%llu subflow_seq=%u data_len=%u csum=%d:%u\n", + 234 [ - + ]: 542200 : pr_debug("data_seq=%llu subflow_seq=%u data_len=%u csum=%d:%u\n", 235 : : mp_opt->data_seq, mp_opt->subflow_seq, 236 : : mp_opt->data_len, !!(mp_opt->suboptions & OPTION_MPTCP_CSUMREQD), 237 : : mp_opt->csum); @@ -334,12 +334,12 @@ 254 : : break; 255 : : } else { 256 : 331 : if (opsize == TCPOLEN_MPTCP_ADD_ADDR_BASE || - 257 [ + + ]: 331 : opsize == TCPOLEN_MPTCP_ADD_ADDR_BASE_PORT) - 258 : 257 : mp_opt->addr.family = AF_INET; + 257 [ + + ]: 331 : opsize == TCPOLEN_MPTCP_ADD_ADDR_BASE_PORT) + 258 : 258 : mp_opt->addr.family = AF_INET; 259 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) - 260 : 74 : else if (opsize == TCPOLEN_MPTCP_ADD_ADDR6_BASE || - 261 [ + - ]: 74 : opsize == TCPOLEN_MPTCP_ADD_ADDR6_BASE_PORT) - 262 : 74 : mp_opt->addr.family = AF_INET6; + 260 : 73 : else if (opsize == TCPOLEN_MPTCP_ADD_ADDR6_BASE || + 261 [ + - ]: 73 : opsize == TCPOLEN_MPTCP_ADD_ADDR6_BASE_PORT) + 262 : 73 : mp_opt->addr.family = AF_INET6; 263 : : #endif 264 : : else 265 : : break; @@ -349,21 +349,21 @@ 269 : 691 : mp_opt->addr.id = *ptr++; 270 : 691 : mp_opt->addr.port = 0; 271 : 691 : mp_opt->ahmac = 0; - 272 [ + + ]: 691 : if (mp_opt->addr.family == AF_INET) { - 273 : 537 : memcpy((u8 *)&mp_opt->addr.addr.s_addr, (u8 *)ptr, 4); - 274 : 537 : ptr += 4; - 275 : 537 : if (opsize == TCPOLEN_MPTCP_ADD_ADDR_PORT || - 276 [ + + ]: 537 : opsize == TCPOLEN_MPTCP_ADD_ADDR_BASE_PORT) { + 272 [ + + ]: 691 : if (mp_opt->addr.family == AF_INET) { + 273 : 538 : memcpy((u8 *)&mp_opt->addr.addr.s_addr, (u8 *)ptr, 4); + 274 : 538 : ptr += 4; + 275 : 538 : if (opsize == TCPOLEN_MPTCP_ADD_ADDR_PORT || + 276 [ + + ]: 538 : opsize == TCPOLEN_MPTCP_ADD_ADDR_BASE_PORT) { 277 : 62 : mp_opt->addr.port = htons(get_unaligned_be16(ptr)); 278 : 62 : ptr += 2; 279 : : } 280 : : } 281 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) 282 : : else { - 283 : 154 : memcpy(mp_opt->addr.addr6.s6_addr, (u8 *)ptr, 16); - 284 : 154 : ptr += 16; - 285 : 154 : if (opsize == TCPOLEN_MPTCP_ADD_ADDR6_PORT || - 286 [ + + ]: 154 : opsize == TCPOLEN_MPTCP_ADD_ADDR6_BASE_PORT) { + 283 : 153 : memcpy(mp_opt->addr.addr6.s6_addr, (u8 *)ptr, 16); + 284 : 153 : ptr += 16; + 285 : 153 : if (opsize == TCPOLEN_MPTCP_ADD_ADDR6_PORT || + 286 [ + + ]: 153 : opsize == TCPOLEN_MPTCP_ADD_ADDR6_BASE_PORT) { 287 : 6 : mp_opt->addr.port = htons(get_unaligned_be16(ptr)); 288 : 6 : ptr += 2; 289 : : } @@ -401,29 +401,29 @@ 321 [ - + ]: 40 : pr_debug("MP_PRIO: prio=%d\n", mp_opt->backup); 322 : : break; 323 : : - 324 : 256 : case MPTCPOPT_MP_FASTCLOSE: - 325 [ + - ]: 256 : if (opsize != TCPOLEN_MPTCP_FASTCLOSE) + 324 : 274 : case MPTCPOPT_MP_FASTCLOSE: + 325 [ + - ]: 274 : if (opsize != TCPOLEN_MPTCP_FASTCLOSE) 326 : : break; 327 : : - 328 : 256 : ptr += 2; - 329 [ - + ]: 256 : mp_opt->rcvr_key = get_unaligned_be64(ptr); - 330 : 256 : ptr += 8; - 331 : 256 : mp_opt->suboptions |= OPTION_MPTCP_FASTCLOSE; - 332 [ - + ]: 256 : pr_debug("MP_FASTCLOSE: recv_key=%llu\n", mp_opt->rcvr_key); + 328 : 274 : ptr += 2; + 329 [ - + ]: 274 : mp_opt->rcvr_key = get_unaligned_be64(ptr); + 330 : 274 : ptr += 8; + 331 : 274 : mp_opt->suboptions |= OPTION_MPTCP_FASTCLOSE; + 332 [ - + ]: 274 : pr_debug("MP_FASTCLOSE: recv_key=%llu\n", mp_opt->rcvr_key); 333 : : break; 334 : : - 335 : 271 : case MPTCPOPT_RST: - 336 [ + - ]: 271 : if (opsize != TCPOLEN_MPTCP_RST) + 335 : 291 : case MPTCPOPT_RST: + 336 [ + - ]: 291 : if (opsize != TCPOLEN_MPTCP_RST) 337 : : break; 338 : : - 339 [ + + ]: 271 : if (!(TCP_SKB_CB(skb)->tcp_flags & TCPHDR_RST)) + 339 [ + + ]: 291 : if (!(TCP_SKB_CB(skb)->tcp_flags & TCPHDR_RST)) 340 : : break; 341 : : - 342 : 259 : mp_opt->suboptions |= OPTION_MPTCP_RST; - 343 : 259 : flags = *ptr++; - 344 : 259 : mp_opt->reset_transient = flags & MPTCP_RST_TRANSIENT; - 345 : 259 : mp_opt->reset_reason = *ptr; - 346 [ - + ]: 259 : pr_debug("MP_RST: transient=%u reason=%u\n", + 342 : 279 : mp_opt->suboptions |= OPTION_MPTCP_RST; + 343 : 279 : flags = *ptr++; + 344 : 279 : mp_opt->reset_transient = flags & MPTCP_RST_TRANSIENT; + 345 : 279 : mp_opt->reset_reason = *ptr; + 346 [ - + ]: 279 : pr_debug("MP_RST: transient=%u reason=%u\n", 347 : : mp_opt->reset_transient, mp_opt->reset_reason); 348 : : break; 349 : : @@ -440,72 +440,72 @@ 360 : : default: 361 : : break; 362 : : } - 363 : 1021186 : } + 363 : 867798 : } 364 : : - 365 : 1021103 : void mptcp_get_options(const struct sk_buff *skb, + 365 : 867702 : void mptcp_get_options(const struct sk_buff *skb, 366 : : struct mptcp_options_received *mp_opt) 367 : : { - 368 : 1021103 : const struct tcphdr *th = tcp_hdr(skb); - 369 : 1021103 : const unsigned char *ptr; - 370 : 1021103 : int length; + 368 : 867702 : const struct tcphdr *th = tcp_hdr(skb); + 369 : 867702 : const unsigned char *ptr; + 370 : 867702 : int length; 371 : : 372 : : /* initialize option status */ - 373 : 1021103 : mp_opt->suboptions = 0; + 373 : 867702 : mp_opt->suboptions = 0; 374 : : - 375 : 1021103 : length = (th->doff * 4) - sizeof(struct tcphdr); - 376 : 1021103 : ptr = (const unsigned char *)(th + 1); + 375 : 867702 : length = (th->doff * 4) - sizeof(struct tcphdr); + 376 : 867702 : ptr = (const unsigned char *)(th + 1); 377 : : - 378 [ + + ]: 6419028 : while (length > 0) { - 379 : 5397925 : int opcode = *ptr++; - 380 : 5397925 : int opsize; + 378 [ + + ]: 5429132 : while (length > 0) { + 379 : 4561430 : int opcode = *ptr++; + 380 : 4561430 : int opsize; 381 : : - 382 [ + + - ]: 5397925 : switch (opcode) { + 382 [ + + - ]: 4561430 : switch (opcode) { 383 : : case TCPOPT_EOL: 384 : : return; - 385 : 3347130 : case TCPOPT_NOP: /* Ref: RFC 793 section 3.1 */ - 386 : 3347130 : length--; - 387 : 3347130 : continue; - 388 : 2050795 : default: - 389 [ + - ]: 2050795 : if (length < 2) + 385 : 2815164 : case TCPOPT_NOP: /* Ref: RFC 793 section 3.1 */ + 386 : 2815164 : length--; + 387 : 2815164 : continue; + 388 : 1746266 : default: + 389 [ + - ]: 1746266 : if (length < 2) 390 : : return; - 391 : 2050795 : opsize = *ptr++; - 392 [ + - ]: 2050795 : if (opsize < 2) /* "silly options" */ + 391 : 1746266 : opsize = *ptr++; + 392 [ + - ]: 1746266 : if (opsize < 2) /* "silly options" */ 393 : : return; - 394 [ + - ]: 2050795 : if (opsize > length) + 394 [ + - ]: 1746266 : if (opsize > length) 395 : : return; /* don't parse partial options */ - 396 [ + + ]: 2050795 : if (opcode == TCPOPT_MPTCP) - 397 : 1021186 : mptcp_parse_option(skb, ptr, opsize, mp_opt); - 398 : 2050795 : ptr += opsize - 2; - 399 : 2050795 : length -= opsize; + 396 [ + + ]: 1746266 : if (opcode == TCPOPT_MPTCP) + 397 : 867798 : mptcp_parse_option(skb, ptr, opsize, mp_opt); + 398 : 1746266 : ptr += opsize - 2; + 399 : 1746266 : length -= opsize; 400 : : } 401 : : } 402 : : } 403 : : - 404 : 1862 : bool mptcp_syn_options(struct sock *sk, const struct sk_buff *skb, + 404 : 1857 : bool mptcp_syn_options(struct sock *sk, const struct sk_buff *skb, 405 : : unsigned int *size, struct mptcp_out_options *opts) 406 : : { - 407 [ + + ]: 1862 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); + 407 [ + + ]: 1857 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); 408 : : 409 : : /* we will use snd_isn to detect first pkt [re]transmission 410 : : * in mptcp_established_options_mp() 411 : : */ - 412 : 1862 : subflow->snd_isn = TCP_SKB_CB(skb)->end_seq; - 413 [ + + ]: 1862 : if (subflow->request_mptcp) { - 414 : 1278 : opts->suboptions = OPTION_MPTCP_MPC_SYN; - 415 : 1278 : opts->csum_reqd = mptcp_is_checksum_enabled(sock_net(sk)); - 416 : 1278 : opts->allow_join_id0 = mptcp_allow_join_id0(sock_net(sk)); - 417 : 1278 : *size = TCPOLEN_MPTCP_MPC_SYN; - 418 : 1278 : return true; - 419 [ + + ]: 584 : } else if (subflow->request_join) { - 420 [ - + ]: 572 : pr_debug("remote_token=%u, nonce=%u\n", subflow->remote_token, + 412 : 1857 : subflow->snd_isn = TCP_SKB_CB(skb)->end_seq; + 413 [ + + ]: 1857 : if (subflow->request_mptcp) { + 414 : 1276 : opts->suboptions = OPTION_MPTCP_MPC_SYN; + 415 : 1276 : opts->csum_reqd = mptcp_is_checksum_enabled(sock_net(sk)); + 416 : 1276 : opts->allow_join_id0 = mptcp_allow_join_id0(sock_net(sk)); + 417 : 1276 : *size = TCPOLEN_MPTCP_MPC_SYN; + 418 : 1276 : return true; + 419 [ + + ]: 581 : } else if (subflow->request_join) { + 420 [ - + ]: 569 : pr_debug("remote_token=%u, nonce=%u\n", subflow->remote_token, 421 : : subflow->local_nonce); - 422 : 572 : opts->suboptions = OPTION_MPTCP_MPJ_SYN; - 423 : 572 : opts->join_id = subflow->local_id; - 424 : 572 : opts->token = subflow->remote_token; - 425 : 572 : opts->nonce = subflow->local_nonce; - 426 : 572 : opts->backup = subflow->request_bkup; - 427 : 572 : *size = TCPOLEN_MPTCP_MPJ_SYN; - 428 : 572 : return true; + 422 : 569 : opts->suboptions = OPTION_MPTCP_MPJ_SYN; + 423 : 569 : opts->join_id = subflow->local_id; + 424 : 569 : opts->token = subflow->remote_token; + 425 : 569 : opts->nonce = subflow->local_nonce; + 426 : 569 : opts->backup = subflow->request_bkup; + 427 : 569 : *size = TCPOLEN_MPTCP_MPJ_SYN; + 428 : 569 : return true; 429 : : } 430 : : return false; 431 : : } @@ -520,16 +520,16 @@ 440 : 984 : icsk->icsk_ack.pending &= ~(ICSK_ACK_SCHED | ICSK_ACK_TIMER); 441 : 984 : } 442 : : - 443 : 2045122 : static bool mptcp_established_options_mp(struct sock *sk, struct sk_buff *skb, + 443 : 1751830 : static bool mptcp_established_options_mp(struct sock *sk, struct sk_buff *skb, 444 : : bool snd_data_fin_enable, 445 : : unsigned int *size, 446 : : struct mptcp_out_options *opts) 447 : : { - 448 [ - + ]: 2045122 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); - 449 [ - + ]: 2045122 : struct mptcp_sock *msk = mptcp_sk(subflow->conn); - 450 : 2045122 : struct mptcp_ext *mpext; - 451 : 2045122 : unsigned int data_len; - 452 : 2045122 : u8 len; + 448 [ - + ]: 1751830 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); + 449 [ - + ]: 1751830 : struct mptcp_sock *msk = mptcp_sk(subflow->conn); + 450 : 1751830 : struct mptcp_ext *mpext; + 451 : 1751830 : unsigned int data_len; + 452 : 1751830 : u8 len; 453 : : 454 : : /* When skb is not available, we better over-estimate the emitted 455 : : * options len. A full DSS option (28 bytes) is longer than @@ -537,168 +537,168 @@ 457 : : * tell the caller to defer the estimate to 458 : : * mptcp_established_options_dss(), which will reserve enough space. 459 : : */ - 460 [ + + ]: 2045122 : if (!skb) + 460 [ + + ]: 1751830 : if (!skb) 461 : : return false; 462 : : 463 : : /* MPC/MPJ needed only on 3rd ack packet, DATA_FIN and TCP shutdown take precedence */ - 464 [ + + + + : 860240 : if (READ_ONCE(subflow->fully_established) || snd_data_fin_enable || - + + ] - 465 [ + + ]: 2635 : subflow->snd_isn != TCP_SKB_CB(skb)->seq || - 466 [ + + ]: 2207 : sk->sk_state != TCP_ESTABLISHED) + 464 [ + + + + : 729518 : if (READ_ONCE(subflow->fully_established) || snd_data_fin_enable || + + + ] + 465 [ + + ]: 2741 : subflow->snd_isn != TCP_SKB_CB(skb)->seq || + 466 [ + + ]: 2227 : sk->sk_state != TCP_ESTABLISHED) 467 : : return false; 468 : : - 469 [ + + ]: 2207 : if (subflow->mp_capable) { - 470 [ + + ]: 1705 : mpext = mptcp_get_ext(skb); - 471 [ + + ]: 1145 : data_len = mpext ? mpext->data_len : 0; + 469 [ + + ]: 2227 : if (subflow->mp_capable) { + 470 [ + + ]: 1726 : mpext = mptcp_get_ext(skb); + 471 [ + + ]: 1167 : data_len = mpext ? mpext->data_len : 0; 472 : : 473 : : /* we will check ops->data_len in mptcp_write_options() to 474 : : * discriminate between TCPOLEN_MPTCP_MPC_ACK_DATA and 475 : : * TCPOLEN_MPTCP_MPC_ACK 476 : : */ - 477 : 1705 : opts->data_len = data_len; - 478 : 1705 : opts->suboptions = OPTION_MPTCP_MPC_ACK; - 479 : 1705 : opts->sndr_key = subflow->local_key; - 480 : 1705 : opts->rcvr_key = subflow->remote_key; - 481 [ - + ]: 1705 : opts->csum_reqd = READ_ONCE(msk->csum_enabled); - 482 : 1705 : opts->allow_join_id0 = mptcp_allow_join_id0(sock_net(sk)); + 477 : 1726 : opts->data_len = data_len; + 478 : 1726 : opts->suboptions = OPTION_MPTCP_MPC_ACK; + 479 : 1726 : opts->sndr_key = subflow->local_key; + 480 : 1726 : opts->rcvr_key = subflow->remote_key; + 481 [ - + ]: 1726 : opts->csum_reqd = READ_ONCE(msk->csum_enabled); + 482 : 1726 : opts->allow_join_id0 = mptcp_allow_join_id0(sock_net(sk)); 483 : : 484 : : /* Section 3.1. 485 : : * The MP_CAPABLE option is carried on the SYN, SYN/ACK, and ACK 486 : : * packets that start the first subflow of an MPTCP connection, 487 : : * as well as the first packet that carries data 488 : : */ - 489 [ + + ]: 1705 : if (data_len > 0) { - 490 : 586 : len = TCPOLEN_MPTCP_MPC_ACK_DATA; - 491 [ + + ]: 586 : if (opts->csum_reqd) { + 489 [ + + ]: 1726 : if (data_len > 0) { + 490 : 608 : len = TCPOLEN_MPTCP_MPC_ACK_DATA; + 491 [ + + ]: 608 : if (opts->csum_reqd) { 492 : : /* we need to propagate more info to csum the pseudo hdr */ 493 : 4 : opts->data_seq = mpext->data_seq; 494 : 4 : opts->subflow_seq = mpext->subflow_seq; 495 : 4 : opts->csum = mpext->csum; 496 : 4 : len += TCPOLEN_MPTCP_DSS_CHECKSUM; 497 : : } - 498 : 586 : *size = ALIGN(len, 4); + 498 : 608 : *size = ALIGN(len, 4); 499 : : } else { - 500 : 1119 : *size = TCPOLEN_MPTCP_MPC_ACK; + 500 : 1118 : *size = TCPOLEN_MPTCP_MPC_ACK; 501 : : } 502 : : - 503 [ - + ]: 1705 : pr_debug("subflow=%p, local_key=%llu, remote_key=%llu map_len=%d\n", + 503 [ - + ]: 1726 : pr_debug("subflow=%p, local_key=%llu, remote_key=%llu map_len=%d\n", 504 : : subflow, subflow->local_key, subflow->remote_key, 505 : : data_len); 506 : : - 507 : 1705 : return true; - 508 [ + + ]: 502 : } else if (subflow->mp_join) { - 509 : 502 : opts->suboptions = OPTION_MPTCP_MPJ_ACK; - 510 : 502 : memcpy(opts->hmac, subflow->hmac, MPTCPOPT_HMAC_LEN); - 511 : 502 : *size = TCPOLEN_MPTCP_MPJ_ACK; - 512 [ - + ]: 502 : pr_debug("subflow=%p\n", subflow); + 507 : 1726 : return true; + 508 [ + + ]: 501 : } else if (subflow->mp_join) { + 509 : 501 : opts->suboptions = OPTION_MPTCP_MPJ_ACK; + 510 : 501 : memcpy(opts->hmac, subflow->hmac, MPTCPOPT_HMAC_LEN); + 511 : 501 : *size = TCPOLEN_MPTCP_MPJ_ACK; + 512 [ - + ]: 501 : pr_debug("subflow=%p\n", subflow); 513 : : 514 : : /* we can use the full delegate action helper only from BH context 515 : : * If we are in process context - sk is flushing the backlog at 516 : : * socket lock release time - just set the appropriate flag, will 517 : : * be handled by the release callback 518 : : */ - 519 [ + + ]: 502 : if (sock_owned_by_user(sk)) + 519 [ + + ]: 501 : if (sock_owned_by_user(sk)) 520 : 416 : set_bit(MPTCP_DELEGATE_ACK, &subflow->delegated_status); 521 : : else - 522 : 86 : mptcp_subflow_delegate(subflow, MPTCP_DELEGATE_ACK); - 523 : 502 : return true; + 522 : 85 : mptcp_subflow_delegate(subflow, MPTCP_DELEGATE_ACK); + 523 : 501 : return true; 524 : : } 525 : : return false; 526 : : } 527 : : - 528 : 30900 : static void mptcp_write_data_fin(struct mptcp_subflow_context *subflow, + 528 : 25840 : static void mptcp_write_data_fin(struct mptcp_subflow_context *subflow, 529 : : struct sk_buff *skb, struct mptcp_ext *ext) 530 : : { 531 : : /* The write_seq value has already been incremented, so the actual 532 : : * sequence number for the DATA_FIN is one less. 533 : : */ - 534 [ - + ]: 30900 : u64 data_fin_tx_seq = READ_ONCE(mptcp_sk(subflow->conn)->write_seq) - 1; + 534 [ - + ]: 25840 : u64 data_fin_tx_seq = READ_ONCE(mptcp_sk(subflow->conn)->write_seq) - 1; 535 : : - 536 [ + + - + ]: 30900 : if (!ext->use_map || !skb->len) { + 536 [ + + - + ]: 25840 : if (!ext->use_map || !skb->len) { 537 : : /* RFC6824 requires a DSS mapping with specific values 538 : : * if DATA_FIN is set but no data payload is mapped 539 : : */ - 540 : 10954 : ext->data_fin = 1; - 541 : 10954 : ext->use_map = 1; - 542 : 10954 : ext->dsn64 = 1; - 543 : 10954 : ext->data_seq = data_fin_tx_seq; - 544 : 10954 : ext->subflow_seq = 0; - 545 : 10954 : ext->data_len = 1; - 546 [ + + ]: 19946 : } else if (ext->data_seq + ext->data_len == data_fin_tx_seq) { + 540 : 10146 : ext->data_fin = 1; + 541 : 10146 : ext->use_map = 1; + 542 : 10146 : ext->dsn64 = 1; + 543 : 10146 : ext->data_seq = data_fin_tx_seq; + 544 : 10146 : ext->subflow_seq = 0; + 545 : 10146 : ext->data_len = 1; + 546 [ + + ]: 15694 : } else if (ext->data_seq + ext->data_len == data_fin_tx_seq) { 547 : : /* If there's an existing DSS mapping and it is the 548 : : * final mapping, DATA_FIN consumes 1 additional byte of 549 : : * mapping space. 550 : : */ - 551 : 879 : ext->data_fin = 1; - 552 : 879 : ext->data_len++; + 551 : 821 : ext->data_fin = 1; + 552 : 821 : ext->data_len++; 553 : : } - 554 : 30900 : } + 554 : 25840 : } 555 : : - 556 : 2042915 : static bool mptcp_established_options_dss(struct sock *sk, struct sk_buff *skb, + 556 : 1749603 : static bool mptcp_established_options_dss(struct sock *sk, struct sk_buff *skb, 557 : : bool snd_data_fin_enable, 558 : : unsigned int *size, 559 : : struct mptcp_out_options *opts) 560 : : { - 561 [ - + ]: 2042915 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); - 562 [ - + ]: 2042915 : struct mptcp_sock *msk = mptcp_sk(subflow->conn); - 563 : 2042915 : unsigned int dss_size = 0; - 564 : 2042915 : struct mptcp_ext *mpext; - 565 : 2042915 : unsigned int ack_size; - 566 : 2042915 : bool ret = false; - 567 : 2042915 : u64 ack_seq; + 561 [ - + ]: 1749603 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); + 562 [ - + ]: 1749603 : struct mptcp_sock *msk = mptcp_sk(subflow->conn); + 563 : 1749603 : unsigned int dss_size = 0; + 564 : 1749603 : struct mptcp_ext *mpext; + 565 : 1749603 : unsigned int ack_size; + 566 : 1749603 : bool ret = false; + 567 : 1749603 : u64 ack_seq; 568 : : - 569 [ - + ]: 2042915 : opts->csum_reqd = READ_ONCE(msk->csum_enabled); - 570 [ + + ]: 2042915 : mpext = skb ? mptcp_get_ext(skb) : NULL; + 569 [ - + ]: 1749603 : opts->csum_reqd = READ_ONCE(msk->csum_enabled); + 570 [ + + ]: 1749603 : mpext = skb ? mptcp_get_ext(skb) : NULL; 571 : : - 572 [ + + - + : 858033 : if (!skb || (mpext && mpext->use_map) || snd_data_fin_enable) { - + + ] - 573 : 1684338 : unsigned int map_size = TCPOLEN_MPTCP_DSS_BASE + TCPOLEN_MPTCP_DSS_MAP64; + 572 [ + + - + : 727291 : if (!skb || (mpext && mpext->use_map) || snd_data_fin_enable) { + + + ] + 573 : 1429814 : unsigned int map_size = TCPOLEN_MPTCP_DSS_BASE + TCPOLEN_MPTCP_DSS_MAP64; 574 : : - 575 [ + + ]: 1684338 : if (mpext) { - 576 [ + + ]: 488502 : if (opts->csum_reqd) - 577 : 1604 : map_size += TCPOLEN_MPTCP_DSS_CHECKSUM; + 575 [ + + ]: 1429814 : if (mpext) { + 576 [ + + ]: 397356 : if (opts->csum_reqd) + 577 : 1597 : map_size += TCPOLEN_MPTCP_DSS_CHECKSUM; 578 : : - 579 : 488502 : opts->ext_copy = *mpext; + 579 : 397356 : opts->ext_copy = *mpext; 580 : : } 581 : : - 582 : 1684338 : dss_size = map_size; - 583 [ + + ]: 1684338 : if (skb && snd_data_fin_enable) - 584 : 30900 : mptcp_write_data_fin(subflow, skb, &opts->ext_copy); - 585 : 1684338 : opts->suboptions = OPTION_MPTCP_DSS; - 586 : 1684338 : ret = true; + 582 : 1429814 : dss_size = map_size; + 583 [ + + ]: 1429814 : if (skb && snd_data_fin_enable) + 584 : 25840 : mptcp_write_data_fin(subflow, skb, &opts->ext_copy); + 585 : 1429814 : opts->suboptions = OPTION_MPTCP_DSS; + 586 : 1429814 : ret = true; 587 : : } 588 : : 589 : : /* passive sockets msk will set the 'can_ack' after accept(), even 590 : : * if the first subflow may have the already the remote key handy 591 : : */ - 592 : 2042915 : opts->ext_copy.use_ack = 0; - 593 [ + + + + ]: 2042915 : if (!READ_ONCE(msk->can_ack)) { - 594 : 20 : *size = ALIGN(dss_size, 4); - 595 : 20 : return ret; + 592 : 1749603 : opts->ext_copy.use_ack = 0; + 593 [ + + + + ]: 1749603 : if (!READ_ONCE(msk->can_ack)) { + 594 : 18 : *size = ALIGN(dss_size, 4); + 595 : 18 : return ret; 596 : : } 597 : : - 598 : 2042895 : ack_seq = READ_ONCE(msk->ack_seq); - 599 [ + + + + ]: 2042895 : if (READ_ONCE(msk->use_64bit_ack)) { - 600 : 1571315 : ack_size = TCPOLEN_MPTCP_DSS_ACK64; - 601 : 1571315 : opts->ext_copy.data_ack = ack_seq; - 602 : 1571315 : opts->ext_copy.ack64 = 1; + 598 : 1749585 : ack_seq = READ_ONCE(msk->ack_seq); + 599 [ + + + + ]: 1749585 : if (READ_ONCE(msk->use_64bit_ack)) { + 600 : 1329738 : ack_size = TCPOLEN_MPTCP_DSS_ACK64; + 601 : 1329738 : opts->ext_copy.data_ack = ack_seq; + 602 : 1329738 : opts->ext_copy.ack64 = 1; 603 : : } else { - 604 : 471580 : ack_size = TCPOLEN_MPTCP_DSS_ACK32; - 605 : 471580 : opts->ext_copy.data_ack32 = (uint32_t)ack_seq; - 606 : 471580 : opts->ext_copy.ack64 = 0; + 604 : 419847 : ack_size = TCPOLEN_MPTCP_DSS_ACK32; + 605 : 419847 : opts->ext_copy.data_ack32 = (uint32_t)ack_seq; + 606 : 419847 : opts->ext_copy.ack64 = 0; 607 : : } - 608 : 2042895 : opts->ext_copy.use_ack = 1; - 609 : 2042895 : opts->suboptions = OPTION_MPTCP_DSS; - 610 : 2042895 : WRITE_ONCE(msk->old_wspace, __mptcp_space((struct sock *)msk)); + 608 : 1749585 : opts->ext_copy.use_ack = 1; + 609 : 1749585 : opts->suboptions = OPTION_MPTCP_DSS; + 610 : 1749585 : WRITE_ONCE(msk->old_wspace, __mptcp_space((struct sock *)msk)); 611 : : 612 : : /* Add kind/length/subtype/flag overhead if mapping is not populated */ - 613 [ + + ]: 2042895 : if (dss_size == 0) - 614 : 358577 : ack_size += TCPOLEN_MPTCP_DSS_BASE; + 613 [ + + ]: 1749585 : if (dss_size == 0) + 614 : 319789 : ack_size += TCPOLEN_MPTCP_DSS_BASE; 615 : : - 616 : 2042895 : dss_size += ack_size; + 616 : 1749585 : dss_size += ack_size; 617 : : - 618 : 2042895 : *size = ALIGN(dss_size, 4); - 619 : 2042895 : return true; + 618 : 1749585 : *size = ALIGN(dss_size, 4); + 619 : 1749585 : return true; 620 : : } 621 : : 622 : 764 : static u64 add_addr_generate_hmac(u64 key1, u64 key2, @@ -728,26 +728,26 @@ 646 : 764 : return get_unaligned_be64(&hmac[SHA256_DIGEST_SIZE - sizeof(u64)]); 647 : : } 648 : : - 649 : 2045118 : static bool mptcp_established_options_add_addr(struct sock *sk, struct sk_buff *skb, + 649 : 1751826 : static bool mptcp_established_options_add_addr(struct sock *sk, struct sk_buff *skb, 650 : : unsigned int *size, 651 : : unsigned int remaining, 652 : : struct mptcp_out_options *opts) 653 : : { - 654 [ - + ]: 2045118 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); - 655 [ - + ]: 2045118 : struct mptcp_sock *msk = mptcp_sk(subflow->conn); - 656 : 2045118 : bool drop_other_suboptions = false; - 657 : 2045118 : unsigned int opt_size = *size; - 658 : 2045118 : bool echo; - 659 : 2045118 : int len; + 654 [ - + ]: 1751826 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); + 655 [ - + ]: 1751826 : struct mptcp_sock *msk = mptcp_sk(subflow->conn); + 656 : 1751826 : bool drop_other_suboptions = false; + 657 : 1751826 : unsigned int opt_size = *size; + 658 : 1751826 : bool echo; + 659 : 1751826 : int len; 660 : : 661 : : /* add addr will strip the existing options, be sure to avoid breaking 662 : : * MPC/MPJ handshakes 663 : : */ - 664 [ + + ]: 2045118 : if (!mptcp_pm_should_add_signal(msk) || + 664 [ + + ]: 1751826 : if (!mptcp_pm_should_add_signal(msk) || 665 [ + - - + ]: 1510 : (opts->suboptions & (OPTION_MPTCP_MPJ_ACK | OPTION_MPTCP_MPC_ACK)) || 666 : 755 : !mptcp_pm_add_addr_signal(msk, skb, opt_size, remaining, &opts->addr, 667 : : &echo, &drop_other_suboptions)) - 668 : 2044363 : return false; + 668 : 1751071 : return false; 669 : : 670 : : /* 671 : : * Later on, mptcp_write_options() will enforce mutually exclusion with @@ -758,7 +758,7 @@ 676 [ # # ]: 0 : else if (opts->suboptions & OPTION_MPTCP_DSS) 677 : : return false; 678 : : - 679 [ + + + + ]: 755 : len = mptcp_add_addr_len(opts->addr.family, echo, !!opts->addr.port); + 679 [ + + + + ]: 755 : len = mptcp_add_addr_len(opts->addr.family, echo, !!opts->addr.port); 680 [ - + ]: 755 : if (remaining < len) 681 : : return false; 682 : : @@ -790,21 +790,21 @@ 708 : : return true; 709 : : } 710 : : - 711 : 2044363 : static bool mptcp_established_options_rm_addr(struct sock *sk, + 711 : 1751071 : static bool mptcp_established_options_rm_addr(struct sock *sk, 712 : : unsigned int *size, 713 : : unsigned int remaining, 714 : : struct mptcp_out_options *opts) 715 : : { - 716 [ - + ]: 2044363 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); - 717 [ - + ]: 2044363 : struct mptcp_sock *msk = mptcp_sk(subflow->conn); - 718 : 2044363 : struct mptcp_rm_list rm_list; - 719 : 2044363 : int i, len; + 716 [ - + ]: 1751071 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); + 717 [ - + ]: 1751071 : struct mptcp_sock *msk = mptcp_sk(subflow->conn); + 718 : 1751071 : struct mptcp_rm_list rm_list; + 719 : 1751071 : int i, len; 720 : : - 721 [ + + - + ]: 2044469 : if (!mptcp_pm_should_rm_signal(msk) || + 721 [ + + - + ]: 1751177 : if (!mptcp_pm_should_rm_signal(msk) || 722 : 106 : !(mptcp_pm_rm_addr_signal(msk, remaining, &rm_list))) - 723 : 2044257 : return false; + 723 : 1750965 : return false; 724 : : - 725 [ - + ]: 406212 : len = mptcp_rm_addr_len(&rm_list); + 725 [ - + ]: 409998 : len = mptcp_rm_addr_len(&rm_list); 726 : 106 : if (len < 0) 727 : : return false; 728 [ - + ]: 106 : if (remaining < len) @@ -820,17 +820,17 @@ 738 : 106 : return true; 739 : : } 740 : : - 741 : 2045118 : static bool mptcp_established_options_mp_prio(struct sock *sk, + 741 : 1751826 : static bool mptcp_established_options_mp_prio(struct sock *sk, 742 : : unsigned int *size, 743 : : unsigned int remaining, 744 : : struct mptcp_out_options *opts) 745 : : { - 746 [ + + ]: 2045118 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); + 746 [ + + ]: 1751826 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); 747 : : 748 : : /* can't send MP_PRIO with MPC, as they share the same option space: 749 : : * 'backup'. Also it makes no sense at all 750 : : */ - 751 [ + + + - ]: 2045118 : if (!subflow->send_mp_prio || (opts->suboptions & OPTIONS_MPTCP_MPC)) + 751 [ + + + - ]: 1751826 : if (!subflow->send_mp_prio || (opts->suboptions & OPTIONS_MPTCP_MPC)) 752 : : return false; 753 : : 754 : : /* account for the trailing 'nop' option */ @@ -846,56 +846,56 @@ 764 : : return true; 765 : : } 766 : : - 767 : 422 : static noinline bool mptcp_established_options_rst(struct sock *sk, struct sk_buff *skb, + 767 : 436 : static noinline bool mptcp_established_options_rst(struct sock *sk, struct sk_buff *skb, 768 : : unsigned int *size, 769 : : unsigned int remaining, 770 : : struct mptcp_out_options *opts) 771 : : { - 772 [ + - ]: 422 : const struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); + 772 [ + - ]: 436 : const struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); 773 : : - 774 [ + - ]: 422 : if (remaining < TCPOLEN_MPTCP_RST) + 774 [ + - ]: 436 : if (remaining < TCPOLEN_MPTCP_RST) 775 : : return false; 776 : : - 777 : 422 : *size = TCPOLEN_MPTCP_RST; - 778 : 422 : opts->suboptions |= OPTION_MPTCP_RST; - 779 : 422 : opts->reset_transient = subflow->reset_transient; - 780 : 422 : opts->reset_reason = subflow->reset_reason; - 781 [ + - ]: 422 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_MPRSTTX); + 777 : 436 : *size = TCPOLEN_MPTCP_RST; + 778 : 436 : opts->suboptions |= OPTION_MPTCP_RST; + 779 : 436 : opts->reset_transient = subflow->reset_transient; + 780 : 436 : opts->reset_reason = subflow->reset_reason; + 781 [ + - ]: 436 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_MPRSTTX); 782 : : 783 : : return true; 784 : : } 785 : : - 786 : 422 : static bool mptcp_established_options_fastclose(struct sock *sk, + 786 : 436 : static bool mptcp_established_options_fastclose(struct sock *sk, 787 : : unsigned int *size, 788 : : unsigned int remaining, 789 : : struct mptcp_out_options *opts) 790 : : { - 791 [ - + ]: 422 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); - 792 [ - + ]: 422 : struct mptcp_sock *msk = mptcp_sk(subflow->conn); + 791 [ - + ]: 436 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); + 792 [ - + ]: 436 : struct mptcp_sock *msk = mptcp_sk(subflow->conn); 793 : : - 794 [ + + ]: 422 : if (likely(!subflow->send_fastclose)) + 794 [ + + ]: 436 : if (likely(!subflow->send_fastclose)) 795 : : return false; 796 : : - 797 [ + - ]: 359 : if (remaining < TCPOLEN_MPTCP_FASTCLOSE) + 797 [ + - ]: 376 : if (remaining < TCPOLEN_MPTCP_FASTCLOSE) 798 : : return false; 799 : : - 800 : 359 : *size = TCPOLEN_MPTCP_FASTCLOSE; - 801 : 359 : opts->suboptions |= OPTION_MPTCP_FASTCLOSE; - 802 : 359 : opts->rcvr_key = READ_ONCE(msk->remote_key); + 800 : 376 : *size = TCPOLEN_MPTCP_FASTCLOSE; + 801 : 376 : opts->suboptions |= OPTION_MPTCP_FASTCLOSE; + 802 : 376 : opts->rcvr_key = READ_ONCE(msk->remote_key); 803 : : - 804 [ - + ]: 359 : pr_debug("FASTCLOSE key=%llu\n", opts->rcvr_key); - 805 [ + - ]: 359 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_MPFASTCLOSETX); + 804 [ - + ]: 376 : pr_debug("FASTCLOSE key=%llu\n", opts->rcvr_key); + 805 [ + - ]: 376 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_MPFASTCLOSETX); 806 : : return true; 807 : : } 808 : : - 809 : 2042978 : static bool mptcp_established_options_mp_fail(struct sock *sk, + 809 : 1749663 : static bool mptcp_established_options_mp_fail(struct sock *sk, 810 : : unsigned int *size, 811 : : unsigned int remaining, 812 : : struct mptcp_out_options *opts) 813 : : { - 814 [ + + ]: 2042978 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); + 814 [ + + ]: 1749663 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); 815 : : - 816 [ + + ]: 2042978 : if (likely(!subflow->send_mp_fail)) + 816 [ + + ]: 1749663 : if (likely(!subflow->send_mp_fail)) 817 : : return false; 818 : : 819 [ + - ]: 6 : if (remaining < TCPOLEN_MPTCP_FAIL) @@ -911,43 +911,43 @@ 829 : : return true; 830 : : } 831 : : - 832 : 2110018 : bool mptcp_established_options(struct sock *sk, struct sk_buff *skb, + 832 : 1793622 : bool mptcp_established_options(struct sock *sk, struct sk_buff *skb, 833 : : unsigned int *size, unsigned int remaining, 834 : : struct mptcp_out_options *opts) 835 : : { - 836 [ - + ]: 2110018 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); - 837 [ - + ]: 2110018 : struct mptcp_sock *msk = mptcp_sk(subflow->conn); - 838 : 2110018 : unsigned int opt_size = 0; - 839 : 2110018 : bool snd_data_fin; - 840 : 2110018 : bool ret = false; + 836 [ - + ]: 1793622 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); + 837 [ - + ]: 1793622 : struct mptcp_sock *msk = mptcp_sk(subflow->conn); + 838 : 1793622 : unsigned int opt_size = 0; + 839 : 1793622 : bool snd_data_fin; + 840 : 1793622 : bool ret = false; 841 : : - 842 : 2110018 : opts->suboptions = 0; + 842 : 1793622 : opts->suboptions = 0; 843 : : - 844 [ + + + + ]: 2110018 : if (unlikely(__mptcp_check_fallback(msk) && !mptcp_check_infinite_map(skb))) + 844 [ + + + + ]: 1793622 : if (unlikely(__mptcp_check_fallback(msk) && !mptcp_check_infinite_map(skb))) 845 : : return false; 846 : : - 847 [ + + + + ]: 2045544 : if (unlikely(skb && TCP_SKB_CB(skb)->tcp_flags & TCPHDR_RST)) { - 848 [ + + + + ]: 485 : if (mptcp_established_options_fastclose(sk, &opt_size, remaining, opts) || - 849 : 63 : mptcp_established_options_mp_fail(sk, &opt_size, remaining, opts)) { - 850 : 361 : *size += opt_size; - 851 : 361 : remaining -= opt_size; + 847 [ + + + + ]: 1752266 : if (unlikely(skb && TCP_SKB_CB(skb)->tcp_flags & TCPHDR_RST)) { + 848 [ + + + + ]: 496 : if (mptcp_established_options_fastclose(sk, &opt_size, remaining, opts) || + 849 : 60 : mptcp_established_options_mp_fail(sk, &opt_size, remaining, opts)) { + 850 : 378 : *size += opt_size; + 851 : 378 : remaining -= opt_size; 852 : : } 853 : : /* MP_RST can be used with MP_FASTCLOSE and MP_FAIL if there is room */ - 854 [ + - ]: 422 : if (mptcp_established_options_rst(sk, skb, &opt_size, remaining, opts)) { - 855 : 422 : *size += opt_size; - 856 : 422 : remaining -= opt_size; + 854 [ + - ]: 436 : if (mptcp_established_options_rst(sk, skb, &opt_size, remaining, opts)) { + 855 : 436 : *size += opt_size; + 856 : 436 : remaining -= opt_size; 857 : : } - 858 : 422 : return true; + 858 : 436 : return true; 859 : : } 860 : : - 861 [ + + ]: 2045122 : snd_data_fin = mptcp_data_fin_enabled(msk); - 862 [ + + ]: 2045122 : if (mptcp_established_options_mp(sk, skb, snd_data_fin, &opt_size, opts)) + 861 [ + + ]: 1751830 : snd_data_fin = mptcp_data_fin_enabled(msk); + 862 [ + + ]: 1751830 : if (mptcp_established_options_mp(sk, skb, snd_data_fin, &opt_size, opts)) 863 : : ret = true; - 864 [ + - ]: 2042915 : else if (mptcp_established_options_dss(sk, skb, snd_data_fin, &opt_size, opts)) { - 865 : 2042915 : unsigned int mp_fail_size; + 864 [ + - ]: 1749603 : else if (mptcp_established_options_dss(sk, skb, snd_data_fin, &opt_size, opts)) { + 865 : 1749603 : unsigned int mp_fail_size; 866 : : - 867 : 2042915 : ret = true; - 868 [ + + ]: 2042915 : if (mptcp_established_options_mp_fail(sk, &mp_fail_size, + 867 : 1749603 : ret = true; + 868 [ + + ]: 1749603 : if (mptcp_established_options_mp_fail(sk, &mp_fail_size, 869 : : remaining - opt_size, opts)) { 870 : 4 : *size += opt_size + mp_fail_size; 871 : 4 : remaining -= opt_size - mp_fail_size; @@ -958,22 +958,22 @@ 876 : : /* we reserved enough space for the above options, and exceeding the 877 : : * TCP option space would be fatal 878 : : */ - 879 [ - + - + ]: 2045118 : if (WARN_ON_ONCE(opt_size > remaining)) + 879 [ - + - + ]: 1751826 : if (WARN_ON_ONCE(opt_size > remaining)) 880 : : return false; 881 : : - 882 : 2045118 : *size += opt_size; - 883 : 2045118 : remaining -= opt_size; - 884 [ + + ]: 2045118 : if (mptcp_established_options_add_addr(sk, skb, &opt_size, remaining, opts)) { + 882 : 1751826 : *size += opt_size; + 883 : 1751826 : remaining -= opt_size; + 884 [ + + ]: 1751826 : if (mptcp_established_options_add_addr(sk, skb, &opt_size, remaining, opts)) { 885 : 755 : *size += opt_size; 886 : 755 : remaining -= opt_size; 887 : 755 : ret = true; - 888 [ + + ]: 2044363 : } else if (mptcp_established_options_rm_addr(sk, &opt_size, remaining, opts)) { + 888 [ + + ]: 1751071 : } else if (mptcp_established_options_rm_addr(sk, &opt_size, remaining, opts)) { 889 : 106 : *size += opt_size; 890 : 106 : remaining -= opt_size; 891 : 106 : ret = true; 892 : : } 893 : : - 894 [ + + ]: 2045118 : if (mptcp_established_options_mp_prio(sk, &opt_size, remaining, opts)) { + 894 [ + + ]: 1751826 : if (mptcp_established_options_mp_prio(sk, &opt_size, remaining, opts)) { 895 : 28 : *size += opt_size; 896 : 28 : remaining -= opt_size; 897 : 28 : ret = true; @@ -982,36 +982,36 @@ 900 : : return ret; 901 : : } 902 : : - 903 : 1783 : bool mptcp_synack_options(const struct request_sock *req, unsigned int *size, + 903 : 1779 : bool mptcp_synack_options(const struct request_sock *req, unsigned int *size, 904 : : struct mptcp_out_options *opts) 905 : : { - 906 : 1783 : struct mptcp_subflow_request_sock *subflow_req = mptcp_subflow_rsk(req); + 906 : 1779 : struct mptcp_subflow_request_sock *subflow_req = mptcp_subflow_rsk(req); 907 : : - 908 [ + + ]: 1783 : if (subflow_req->mp_capable) { - 909 : 1188 : opts->suboptions = OPTION_MPTCP_MPC_SYNACK; - 910 : 1188 : opts->sndr_key = subflow_req->local_key; - 911 : 1188 : opts->csum_reqd = subflow_req->csum_reqd; - 912 : 1188 : opts->allow_join_id0 = subflow_req->allow_join_id0; - 913 : 1188 : *size = TCPOLEN_MPTCP_MPC_SYNACK; - 914 [ - + ]: 1188 : pr_debug("subflow_req=%p, local_key=%llu\n", + 908 [ + + ]: 1779 : if (subflow_req->mp_capable) { + 909 : 1186 : opts->suboptions = OPTION_MPTCP_MPC_SYNACK; + 910 : 1186 : opts->sndr_key = subflow_req->local_key; + 911 : 1186 : opts->csum_reqd = subflow_req->csum_reqd; + 912 : 1186 : opts->allow_join_id0 = subflow_req->allow_join_id0; + 913 : 1186 : *size = TCPOLEN_MPTCP_MPC_SYNACK; + 914 [ - + ]: 1186 : pr_debug("subflow_req=%p, local_key=%llu\n", 915 : : subflow_req, subflow_req->local_key); - 916 : 1188 : return true; - 917 [ + + ]: 595 : } else if (subflow_req->mp_join) { - 918 : 519 : opts->suboptions = OPTION_MPTCP_MPJ_SYNACK; - 919 : 519 : opts->backup = subflow_req->request_bkup; - 920 : 519 : opts->join_id = subflow_req->local_id; - 921 : 519 : opts->thmac = subflow_req->thmac; - 922 : 519 : opts->nonce = subflow_req->local_nonce; - 923 [ - + ]: 519 : pr_debug("req=%p, bkup=%u, id=%u, thmac=%llu, nonce=%u\n", + 916 : 1186 : return true; + 917 [ + + ]: 593 : } else if (subflow_req->mp_join) { + 918 : 517 : opts->suboptions = OPTION_MPTCP_MPJ_SYNACK; + 919 : 517 : opts->backup = subflow_req->request_bkup; + 920 : 517 : opts->join_id = subflow_req->local_id; + 921 : 517 : opts->thmac = subflow_req->thmac; + 922 : 517 : opts->nonce = subflow_req->local_nonce; + 923 [ - + ]: 517 : pr_debug("req=%p, bkup=%u, id=%u, thmac=%llu, nonce=%u\n", 924 : : subflow_req, opts->backup, opts->join_id, 925 : : opts->thmac, opts->nonce); - 926 : 519 : *size = TCPOLEN_MPTCP_MPJ_SYNACK; - 927 : 519 : return true; + 926 : 517 : *size = TCPOLEN_MPTCP_MPJ_SYNACK; + 927 : 517 : return true; 928 : : } 929 : : return false; 930 : : } 931 : : - 932 : 1015888 : static bool check_fully_established(struct mptcp_sock *msk, struct sock *ssk, + 932 : 862486 : static bool check_fully_established(struct mptcp_sock *msk, struct sock *ssk, 933 : : struct mptcp_subflow_context *subflow, 934 : : struct sk_buff *skb, 935 : : struct mptcp_options_received *mp_opt) @@ -1019,17 +1019,17 @@ 937 : : /* here we can process OoO, in-window pkts, only in-sequence 4th ack 938 : : * will make the subflow fully established 939 : : */ - 940 [ + + + + ]: 1015888 : if (likely(READ_ONCE(subflow->fully_established))) { + 940 [ + + + + ]: 862486 : if (likely(READ_ONCE(subflow->fully_established))) { 941 : : /* on passive sockets, check for 3rd ack retransmission 942 : : * note that msk is always set by subflow_syn_recv_sock() 943 : : * for mp_join subflows 944 : : */ - 945 [ + + ]: 1014255 : if (TCP_SKB_CB(skb)->seq == subflow->ssn_offset + 1 && - 946 [ + + + + ]: 142215 : TCP_SKB_CB(skb)->end_seq == TCP_SKB_CB(skb)->seq && - 947 [ + + ]: 81638 : subflow->mp_join && (mp_opt->suboptions & OPTIONS_MPTCP_MPJ) && - 948 [ + - ]: 508 : !subflow->request_join) - 949 : 508 : tcp_send_ack(ssk); - 950 : 1014255 : goto check_notify; + 945 [ + + ]: 860845 : if (TCP_SKB_CB(skb)->seq == subflow->ssn_offset + 1 && + 946 [ + + + + ]: 120414 : TCP_SKB_CB(skb)->end_seq == TCP_SKB_CB(skb)->seq && + 947 [ + + ]: 69319 : subflow->mp_join && (mp_opt->suboptions & OPTIONS_MPTCP_MPJ) && + 948 [ + - ]: 507 : !subflow->request_join) + 949 : 507 : tcp_send_ack(ssk); + 950 : 860845 : goto check_notify; 951 : : } 952 : : 953 : : /* we must process OoO packets before the first subflow is fully @@ -1037,19 +1037,19 @@ 955 : : * for MP_JOIN subflows as the peer must not send any data 956 : : * before receiving the forth ack - cfr. RFC 8684 section 3.2. 957 : : */ - 958 [ + + ]: 1633 : if (TCP_SKB_CB(skb)->seq != subflow->ssn_offset + 1) { - 959 [ - + ]: 50 : if (subflow->mp_join) + 958 [ + + ]: 1641 : if (TCP_SKB_CB(skb)->seq != subflow->ssn_offset + 1) { + 959 [ - + ]: 58 : if (subflow->mp_join) 960 : 0 : goto reset; - 961 [ - + - - ]: 50 : if (subflow->is_mptfo && mp_opt->suboptions & OPTION_MPTCP_MPC_ACK) + 961 [ - + - - ]: 58 : if (subflow->is_mptfo && mp_opt->suboptions & OPTION_MPTCP_MPC_ACK) 962 : 0 : goto set_fully_established; - 963 : 50 : return subflow->mp_capable; + 963 : 58 : return subflow->mp_capable; 964 : : } 965 : : 966 [ + + ]: 1583 : if (subflow->remote_key_valid && - 967 [ + + - + : 1557 : (((mp_opt->suboptions & OPTION_MPTCP_DSS) && mp_opt->use_ack) || - + + ] - 968 : 140 : ((mp_opt->suboptions & OPTION_MPTCP_ADD_ADDR) && - 969 [ + + + - ]: 140 : (!mp_opt->echo || subflow->mp_join)))) { + 967 [ + + - + : 1557 : (((mp_opt->suboptions & OPTION_MPTCP_DSS) && mp_opt->use_ack) || + + + ] + 968 : 143 : ((mp_opt->suboptions & OPTION_MPTCP_ADD_ADDR) && + 969 [ + + + - ]: 143 : (!mp_opt->echo || subflow->mp_join)))) { 970 : : /* subflows are fully established as soon as we get any 971 : : * additional ack, including ADD_ADDR. 972 : : */ @@ -1081,13 +1081,13 @@ 998 : 1575 : __mptcp_subflow_fully_established(msk, subflow, mp_opt); 999 : 1575 : mptcp_data_unlock((struct sock *)msk); 1000 : : - 1001 : 1015830 : check_notify: + 1001 : 862420 : check_notify: 1002 : : /* if the subflow is not already linked into the conn_list, we can't 1003 : : * notify the PM: this subflow is still on the listener queue 1004 : : * and the PM possibly acquiring the subflow lock could race with 1005 : : * the listener close 1006 : : */ - 1007 [ + + + - ]: 1015830 : if (likely(subflow->pm_notified) || list_empty(&subflow->node)) + 1007 [ + + + - ]: 862420 : if (likely(subflow->pm_notified) || list_empty(&subflow->node)) 1008 : : return true; 1009 : : 1010 : 2080 : subflow->pm_notified = 1; @@ -1104,85 +1104,85 @@ 1021 : 8 : return false; 1022 : : } 1023 : : - 1024 : 161694 : u64 __mptcp_expand_seq(u64 old_seq, u64 cur_seq) + 1024 : 95378 : u64 __mptcp_expand_seq(u64 old_seq, u64 cur_seq) 1025 : : { - 1026 : 161694 : u32 old_seq32, cur_seq32; + 1026 : 95378 : u32 old_seq32, cur_seq32; 1027 : : - 1028 : 161694 : old_seq32 = (u32)old_seq; - 1029 : 161694 : cur_seq32 = (u32)cur_seq; - 1030 : 161694 : cur_seq = (old_seq & GENMASK_ULL(63, 32)) + cur_seq32; - 1031 [ - + - - ]: 161694 : if (unlikely(cur_seq32 < old_seq32 && before(old_seq32, cur_seq32))) + 1028 : 95378 : old_seq32 = (u32)old_seq; + 1029 : 95378 : cur_seq32 = (u32)cur_seq; + 1030 : 95378 : cur_seq = (old_seq & GENMASK_ULL(63, 32)) + cur_seq32; + 1031 [ - + - - ]: 95378 : if (unlikely(cur_seq32 < old_seq32 && before(old_seq32, cur_seq32))) 1032 : 0 : return cur_seq + (1LL << 32); 1033 : : 1034 : : /* reverse wrap could happen, too */ - 1035 [ + + - + ]: 161694 : if (unlikely(cur_seq32 > old_seq32 && after(old_seq32, cur_seq32))) + 1035 [ + + - + ]: 95378 : if (unlikely(cur_seq32 > old_seq32 && after(old_seq32, cur_seq32))) 1036 : 0 : return cur_seq - (1LL << 32); 1037 : : return cur_seq; 1038 : : } 1039 : : 1040 : 0 : static void __mptcp_snd_una_update(struct mptcp_sock *msk, u64 new_snd_una) 1041 : : { - 1042 : 249115 : msk->bytes_acked += new_snd_una - msk->snd_una; - 1043 : 249115 : WRITE_ONCE(msk->snd_una, new_snd_una); + 1042 : 197111 : msk->bytes_acked += new_snd_una - msk->snd_una; + 1043 : 197111 : WRITE_ONCE(msk->snd_una, new_snd_una); 1044 : : } 1045 : : - 1046 : 1012426 : static void ack_update_msk(struct mptcp_sock *msk, + 1046 : 859000 : static void ack_update_msk(struct mptcp_sock *msk, 1047 : : struct sock *ssk, 1048 : : struct mptcp_options_received *mp_opt) 1049 : : { - 1050 : 1012426 : u64 new_wnd_end, new_snd_una, snd_nxt = READ_ONCE(msk->snd_nxt); - 1051 : 1012426 : struct sock *sk = (struct sock *)msk; - 1052 : 1012426 : u64 old_snd_una; + 1050 : 859000 : u64 new_wnd_end, new_snd_una, snd_nxt = READ_ONCE(msk->snd_nxt); + 1051 : 859000 : struct sock *sk = (struct sock *)msk; + 1052 : 859000 : u64 old_snd_una; 1053 : : - 1054 : 1012426 : mptcp_data_lock(sk); + 1054 : 859000 : mptcp_data_lock(sk); 1055 : : 1056 : : /* avoid ack expansion on update conflict, to reduce the risk of 1057 : : * wrongly expanding to a future ack sequence number, which is way 1058 : : * more dangerous than missing an ack 1059 : : */ - 1060 : 1012426 : old_snd_una = msk->snd_una; - 1061 [ + + ]: 1012426 : new_snd_una = mptcp_expand_seq(old_snd_una, mp_opt->data_ack, mp_opt->ack64); + 1060 : 859000 : old_snd_una = msk->snd_una; + 1061 [ + + ]: 859000 : new_snd_una = mptcp_expand_seq(old_snd_una, mp_opt->data_ack, mp_opt->ack64); 1062 : : 1063 : : /* ACK for data not even sent yet? Ignore.*/ - 1064 [ + + ]: 1012426 : if (unlikely(after64(new_snd_una, snd_nxt))) - 1065 : 48 : new_snd_una = old_snd_una; + 1064 [ + + ]: 859000 : if (unlikely(after64(new_snd_una, snd_nxt))) + 1065 : 43 : new_snd_una = old_snd_una; 1066 : : - 1067 [ - + ]: 1012426 : new_wnd_end = new_snd_una + tcp_sk(ssk)->snd_wnd; + 1067 [ - + ]: 859000 : new_wnd_end = new_snd_una + tcp_sk(ssk)->snd_wnd; 1068 : : - 1069 [ + + ]: 1012426 : if (after64(new_wnd_end, msk->wnd_end)) - 1070 : 291963 : WRITE_ONCE(msk->wnd_end, new_wnd_end); + 1069 [ + + ]: 859000 : if (after64(new_wnd_end, msk->wnd_end)) + 1070 : 245597 : WRITE_ONCE(msk->wnd_end, new_wnd_end); 1071 : : 1072 : : /* this assumes mptcp_incoming_options() is invoked after tcp_ack() */ - 1073 [ + + ]: 1012426 : if (after64(msk->wnd_end, snd_nxt)) - 1074 : 969540 : __mptcp_check_push(sk, ssk); + 1073 [ + + ]: 859000 : if (after64(msk->wnd_end, snd_nxt)) + 1074 : 820497 : __mptcp_check_push(sk, ssk); 1075 : : - 1076 [ + + ]: 1012426 : if (after64(new_snd_una, old_snd_una)) { - 1077 : 276753 : __mptcp_snd_una_update(msk, new_snd_una); - 1078 : 276753 : __mptcp_data_acked(sk); + 1076 [ + + ]: 859000 : if (after64(new_snd_una, old_snd_una)) { + 1077 : 231229 : __mptcp_snd_una_update(msk, new_snd_una); + 1078 : 231229 : __mptcp_data_acked(sk); 1079 : : } - 1080 : 1012426 : msk->last_ack_recv = tcp_jiffies32; - 1081 : 1012426 : mptcp_data_unlock(sk); + 1080 : 859000 : msk->last_ack_recv = tcp_jiffies32; + 1081 : 859000 : mptcp_data_unlock(sk); 1082 : : - 1083 : 1012426 : trace_ack_update_msk(mp_opt->data_ack, + 1083 : 859000 : trace_ack_update_msk(mp_opt->data_ack, 1084 : : old_snd_una, new_snd_una, - 1085 : 1012426 : new_wnd_end, READ_ONCE(msk->wnd_end)); - 1086 : 1012426 : } + 1085 : 859000 : new_wnd_end, READ_ONCE(msk->wnd_end)); + 1086 : 859000 : } 1087 : : - 1088 : 10500 : bool mptcp_update_rcv_data_fin(struct mptcp_sock *msk, u64 data_fin_seq, bool use_64bit) + 1088 : 9719 : bool mptcp_update_rcv_data_fin(struct mptcp_sock *msk, u64 data_fin_seq, bool use_64bit) 1089 : : { 1090 : : /* Skip if DATA_FIN was already received. 1091 : : * If updating simultaneously with the recvmsg loop, values 1092 : : * should match. If they mismatch, the peer is misbehaving and 1093 : : * we will prefer the most recent information. 1094 : : */ - 1095 [ + + + + ]: 10500 : if (READ_ONCE(msk->rcv_data_fin)) + 1095 [ + + + + ]: 9719 : if (READ_ONCE(msk->rcv_data_fin)) 1096 : : return false; 1097 : : - 1098 [ + + ]: 2180 : WRITE_ONCE(msk->rcv_data_fin_seq, + 1098 [ + + ]: 2213 : WRITE_ONCE(msk->rcv_data_fin_seq, 1099 : : mptcp_expand_seq(READ_ONCE(msk->ack_seq), data_fin_seq, use_64bit)); - 1100 : 2180 : WRITE_ONCE(msk->rcv_data_fin, 1); + 1100 : 2213 : WRITE_ONCE(msk->rcv_data_fin, 1); 1101 : : - 1102 : 2180 : return true; + 1102 : 2213 : return true; 1103 : : } 1104 : : 1105 : 691 : static bool add_addr_hmac_valid(struct mptcp_sock *msk, @@ -1204,50 +1204,50 @@ 1121 : : } 1122 : : 1123 : : /* Return false if a subflow has been reset, else return true */ - 1124 : 1029408 : bool mptcp_incoming_options(struct sock *sk, struct sk_buff *skb) + 1124 : 870802 : bool mptcp_incoming_options(struct sock *sk, struct sk_buff *skb) 1125 : : { - 1126 [ - + ]: 1029408 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); - 1127 [ - + ]: 1029408 : struct mptcp_sock *msk = mptcp_sk(subflow->conn); - 1128 : 1029408 : struct mptcp_options_received mp_opt; - 1129 : 1029408 : struct mptcp_ext *mpext; + 1126 [ - + ]: 870802 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); + 1127 [ - + ]: 870802 : struct mptcp_sock *msk = mptcp_sk(subflow->conn); + 1128 : 870802 : struct mptcp_options_received mp_opt; + 1129 : 870802 : struct mptcp_ext *mpext; 1130 : : - 1131 [ + + ]: 1029408 : if (__mptcp_check_fallback(msk)) { + 1131 [ + + ]: 870802 : if (__mptcp_check_fallback(msk)) { 1132 : : /* Keep it simple and unconditionally trigger send data cleanup and 1133 : : * pending queue spooling. We will need to acquire the data lock 1134 : : * for more accurate checks, and once the lock is acquired, such 1135 : : * helpers are cheap. 1136 : : */ - 1137 : 13520 : mptcp_data_lock(subflow->conn); - 1138 [ + + ]: 13520 : if (sk_stream_memory_free(sk)) - 1139 : 12953 : __mptcp_check_push(subflow->conn, sk); + 1137 : 8316 : mptcp_data_lock(subflow->conn); + 1138 [ + + ]: 8316 : if (sk_stream_memory_free(sk)) + 1139 : 7849 : __mptcp_check_push(subflow->conn, sk); 1140 : : 1141 : : /* on fallback we just need to ignore the msk-level snd_una, as 1142 : : * this is really plain TCP 1143 : : */ - 1144 : 13520 : __mptcp_snd_una_update(msk, READ_ONCE(msk->snd_nxt)); + 1144 : 8316 : __mptcp_snd_una_update(msk, READ_ONCE(msk->snd_nxt)); 1145 : : - 1146 : 13520 : __mptcp_data_acked(subflow->conn); - 1147 : 13520 : mptcp_data_unlock(subflow->conn); - 1148 : 13520 : return true; + 1146 : 8316 : __mptcp_data_acked(subflow->conn); + 1147 : 8316 : mptcp_data_unlock(subflow->conn); + 1148 : 8316 : return true; 1149 : : } 1150 : : - 1151 : 1015888 : mptcp_get_options(skb, &mp_opt); + 1151 : 862486 : mptcp_get_options(skb, &mp_opt); 1152 : : 1153 : : /* The subflow can be in close state only if check_fully_established() 1154 : : * just sent a reset. If so, tell the caller to ignore the current packet. 1155 : : */ - 1156 [ + + ]: 1015888 : if (!check_fully_established(msk, sk, subflow, skb, &mp_opt)) - 1157 : 52 : return sk->sk_state != TCP_CLOSE; + 1156 [ + + ]: 862486 : if (!check_fully_established(msk, sk, subflow, skb, &mp_opt)) + 1157 : 50 : return sk->sk_state != TCP_CLOSE; 1158 : : - 1159 [ + + ]: 1015836 : if (unlikely(mp_opt.suboptions != OPTION_MPTCP_DSS)) { - 1160 [ + + ]: 5456 : if ((mp_opt.suboptions & OPTION_MPTCP_FASTCLOSE) && - 1161 [ + + ]: 256 : READ_ONCE(msk->local_key) == mp_opt.rcvr_key) { - 1162 : 246 : WRITE_ONCE(msk->rcv_fastclose, true); - 1163 : 246 : mptcp_schedule_work((struct sock *)msk); - 1164 [ + - ]: 246 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_MPFASTCLOSERX); + 1159 [ + + ]: 862436 : if (unlikely(mp_opt.suboptions != OPTION_MPTCP_DSS)) { + 1160 [ + + ]: 5515 : if ((mp_opt.suboptions & OPTION_MPTCP_FASTCLOSE) && + 1161 [ + + ]: 274 : READ_ONCE(msk->local_key) == mp_opt.rcvr_key) { + 1162 : 264 : WRITE_ONCE(msk->rcv_fastclose, true); + 1163 : 264 : mptcp_schedule_work((struct sock *)msk); + 1164 [ + - ]: 264 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_MPFASTCLOSERX); 1165 : : } 1166 : : - 1167 [ + + + - ]: 6147 : if ((mp_opt.suboptions & OPTION_MPTCP_ADD_ADDR) && + 1167 [ + + + - ]: 6206 : if ((mp_opt.suboptions & OPTION_MPTCP_ADD_ADDR) && 1168 : 691 : add_addr_hmac_valid(msk, &mp_opt)) { 1169 [ + + ]: 691 : if (!mp_opt.echo) { 1170 : 360 : mptcp_pm_add_addr_received(sk, &mp_opt.addr); @@ -1262,184 +1262,184 @@ 1179 [ + - ]: 68 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_PORTADD); 1180 : : } 1181 : : - 1182 [ + + ]: 5456 : if (mp_opt.suboptions & OPTION_MPTCP_RM_ADDR) + 1182 [ + + ]: 5515 : if (mp_opt.suboptions & OPTION_MPTCP_RM_ADDR) 1183 : 106 : mptcp_pm_rm_addr_received(msk, &mp_opt.rm_list); 1184 : : - 1185 [ + + ]: 5456 : if (mp_opt.suboptions & OPTION_MPTCP_PRIO) { + 1185 [ + + ]: 5515 : if (mp_opt.suboptions & OPTION_MPTCP_PRIO) { 1186 : 40 : mptcp_pm_mp_prio_received(sk, mp_opt.backup); 1187 [ + - ]: 40 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_MPPRIORX); 1188 : : } 1189 : : - 1190 [ + + ]: 5456 : if (mp_opt.suboptions & OPTION_MPTCP_FAIL) { + 1190 [ + + ]: 5515 : if (mp_opt.suboptions & OPTION_MPTCP_FAIL) { 1191 : 6 : mptcp_pm_mp_fail_received(sk, mp_opt.fail_seq); 1192 [ + - ]: 6 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_MPFAILRX); 1193 : : } 1194 : : - 1195 [ + + ]: 5456 : if (mp_opt.suboptions & OPTION_MPTCP_RST) { - 1196 : 249 : subflow->reset_seen = 1; - 1197 : 249 : subflow->reset_reason = mp_opt.reset_reason; - 1198 : 249 : subflow->reset_transient = mp_opt.reset_transient; - 1199 [ + - ]: 249 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_MPRSTRX); + 1195 [ + + ]: 5515 : if (mp_opt.suboptions & OPTION_MPTCP_RST) { + 1196 : 269 : subflow->reset_seen = 1; + 1197 : 269 : subflow->reset_reason = mp_opt.reset_reason; + 1198 : 269 : subflow->reset_transient = mp_opt.reset_transient; + 1199 [ + - ]: 269 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_MPRSTRX); 1200 : : } 1201 : : - 1202 [ + + ]: 5456 : if (!(mp_opt.suboptions & OPTION_MPTCP_DSS)) + 1202 [ + + ]: 5515 : if (!(mp_opt.suboptions & OPTION_MPTCP_DSS)) 1203 : : return true; 1204 : : } 1205 : : 1206 : : /* we can't wait for recvmsg() to update the ack_seq, otherwise 1207 : : * monodirectional flows will stuck 1208 : : */ - 1209 [ + + ]: 1013066 : if (mp_opt.use_ack) - 1210 : 1012426 : ack_update_msk(msk, sk, &mp_opt); + 1209 [ + + ]: 859642 : if (mp_opt.use_ack) + 1210 : 859000 : ack_update_msk(msk, sk, &mp_opt); 1211 : : 1212 : : /* Zero-data-length packets are dropped by the caller and not 1213 : : * propagated to the MPTCP layer, so the skb extension does not 1214 : : * need to be allocated or populated. DATA_FIN information, if 1215 : : * present, needs to be updated here before the skb is freed. 1216 : : */ - 1217 [ + + ]: 1013066 : if (TCP_SKB_CB(skb)->seq == TCP_SKB_CB(skb)->end_seq) { - 1218 [ + + + - : 372413 : if (mp_opt.data_fin && mp_opt.data_len == 1 && - + + ] - 1219 : 9495 : mptcp_update_rcv_data_fin(msk, mp_opt.data_seq, mp_opt.dsn64)) - 1220 : 2090 : mptcp_schedule_work((struct sock *)msk); + 1217 [ + + ]: 859642 : if (TCP_SKB_CB(skb)->seq == TCP_SKB_CB(skb)->end_seq) { + 1218 [ + + + - : 332225 : if (mp_opt.data_fin && mp_opt.data_len == 1 && + + + ] + 1219 : 8701 : mptcp_update_rcv_data_fin(msk, mp_opt.data_seq, mp_opt.dsn64)) + 1220 : 2126 : mptcp_schedule_work((struct sock *)msk); 1221 : : - 1222 : 362918 : return true; + 1222 : 323524 : return true; 1223 : : } 1224 : : - 1225 : 650148 : mpext = skb_ext_add(skb, SKB_EXT_MPTCP); - 1226 [ - + ]: 650148 : if (!mpext) + 1225 : 536118 : mpext = skb_ext_add(skb, SKB_EXT_MPTCP); + 1226 [ - + ]: 536118 : if (!mpext) 1227 : : return true; 1228 : : - 1229 : 650148 : memset(mpext, 0, sizeof(*mpext)); + 1229 : 536118 : memset(mpext, 0, sizeof(*mpext)); 1230 : : - 1231 [ + + ]: 650148 : if (likely(mp_opt.use_map)) { - 1232 [ + + ]: 648120 : if (mp_opt.mpc_map) { + 1231 [ + + ]: 536118 : if (likely(mp_opt.use_map)) { + 1232 [ + + ]: 534105 : if (mp_opt.mpc_map) { 1233 : : /* this is an MP_CAPABLE carrying MPTCP data 1234 : : * we know this map the first chunk of data 1235 : : */ - 1236 : 640 : mptcp_crypto_key_sha(subflow->remote_key, NULL, + 1236 : 642 : mptcp_crypto_key_sha(subflow->remote_key, NULL, 1237 : : &mpext->data_seq); - 1238 : 640 : mpext->data_seq++; - 1239 : 640 : mpext->subflow_seq = 1; - 1240 : 640 : mpext->dsn64 = 1; - 1241 : 640 : mpext->mpc_map = 1; - 1242 : 640 : mpext->data_fin = 0; + 1238 : 642 : mpext->data_seq++; + 1239 : 642 : mpext->subflow_seq = 1; + 1240 : 642 : mpext->dsn64 = 1; + 1241 : 642 : mpext->mpc_map = 1; + 1242 : 642 : mpext->data_fin = 0; 1243 : : } else { - 1244 : 647480 : mpext->data_seq = mp_opt.data_seq; - 1245 : 647480 : mpext->subflow_seq = mp_opt.subflow_seq; - 1246 : 647480 : mpext->dsn64 = mp_opt.dsn64; - 1247 : 647480 : mpext->data_fin = mp_opt.data_fin; + 1244 : 533463 : mpext->data_seq = mp_opt.data_seq; + 1245 : 533463 : mpext->subflow_seq = mp_opt.subflow_seq; + 1246 : 533463 : mpext->dsn64 = mp_opt.dsn64; + 1247 : 533463 : mpext->data_fin = mp_opt.data_fin; 1248 : : } - 1249 : 648120 : mpext->data_len = mp_opt.data_len; - 1250 : 648120 : mpext->use_map = 1; - 1251 : 648120 : mpext->csum_reqd = !!(mp_opt.suboptions & OPTION_MPTCP_CSUMREQD); + 1249 : 534105 : mpext->data_len = mp_opt.data_len; + 1250 : 534105 : mpext->use_map = 1; + 1251 : 534105 : mpext->csum_reqd = !!(mp_opt.suboptions & OPTION_MPTCP_CSUMREQD); 1252 : : - 1253 [ + + ]: 648120 : if (mpext->csum_reqd) - 1254 : 1606 : mpext->csum = mp_opt.csum; + 1253 [ + + ]: 534105 : if (mpext->csum_reqd) + 1254 : 1600 : mpext->csum = mp_opt.csum; 1255 : : } 1256 : : 1257 : : return true; 1258 : : } 1259 : : - 1260 : 862086 : static void mptcp_set_rwin(struct tcp_sock *tp, struct tcphdr *th) + 1260 : 731359 : static void mptcp_set_rwin(struct tcp_sock *tp, struct tcphdr *th) 1261 : : { - 1262 : 862086 : const struct sock *ssk = (const struct sock *)tp; - 1263 : 862086 : struct mptcp_subflow_context *subflow; - 1264 : 862086 : u64 ack_seq, rcv_wnd_old, rcv_wnd_new; - 1265 : 862086 : struct mptcp_sock *msk; - 1266 : 862086 : u32 new_win; - 1267 : 862086 : u64 win; + 1262 : 731359 : const struct sock *ssk = (const struct sock *)tp; + 1263 : 731359 : struct mptcp_subflow_context *subflow; + 1264 : 731359 : u64 ack_seq, rcv_wnd_old, rcv_wnd_new; + 1265 : 731359 : struct mptcp_sock *msk; + 1266 : 731359 : u32 new_win; + 1267 : 731359 : u64 win; 1268 : : - 1269 [ - + ]: 862086 : subflow = mptcp_subflow_ctx(ssk); - 1270 [ - + ]: 862086 : msk = mptcp_sk(subflow->conn); + 1269 [ - + ]: 731359 : subflow = mptcp_subflow_ctx(ssk); + 1270 [ - + ]: 731359 : msk = mptcp_sk(subflow->conn); 1271 : : - 1272 : 862086 : ack_seq = READ_ONCE(msk->ack_seq); - 1273 : 862086 : rcv_wnd_new = ack_seq + tp->rcv_wnd; + 1272 : 731359 : ack_seq = READ_ONCE(msk->ack_seq); + 1273 : 731359 : rcv_wnd_new = ack_seq + tp->rcv_wnd; 1274 : : - 1275 [ + + ]: 862086 : rcv_wnd_old = atomic64_read(&msk->rcv_wnd_sent); - 1276 [ + + ]: 862086 : if (after64(rcv_wnd_new, rcv_wnd_old)) { - 1277 : 43610 : u64 rcv_wnd; + 1275 [ + + ]: 731359 : rcv_wnd_old = atomic64_read(&msk->rcv_wnd_sent); + 1276 [ + + ]: 731359 : if (after64(rcv_wnd_new, rcv_wnd_old)) { + 1277 : 45362 : u64 rcv_wnd; 1278 : : - 1279 : 317482 : for (;;) { - 1280 : 361092 : rcv_wnd = atomic64_cmpxchg(&msk->rcv_wnd_sent, rcv_wnd_old, rcv_wnd_new); + 1279 : 269199 : for (;;) { + 1280 : 314561 : rcv_wnd = atomic64_cmpxchg(&msk->rcv_wnd_sent, rcv_wnd_old, rcv_wnd_new); 1281 : : - 1282 [ + + ]: 317482 : if (rcv_wnd == rcv_wnd_old) + 1282 [ + + ]: 269199 : if (rcv_wnd == rcv_wnd_old) 1283 : : break; 1284 : : - 1285 : 3 : rcv_wnd_old = rcv_wnd; - 1286 [ + + ]: 3 : if (before64(rcv_wnd_new, rcv_wnd_old)) { - 1287 [ # # ]: 1 : MPTCP_INC_STATS(sock_net(ssk), MPTCP_MIB_RCVWNDCONFLICTUPDATE); - 1288 : 1 : goto raise_win; + 1285 : 2 : rcv_wnd_old = rcv_wnd; + 1286 [ - + ]: 2 : if (before64(rcv_wnd_new, rcv_wnd_old)) { + 1287 [ # # ]: 0 : MPTCP_INC_STATS(sock_net(ssk), MPTCP_MIB_RCVWNDCONFLICTUPDATE); + 1288 : 0 : goto raise_win; 1289 : : } - 1290 [ - - ]: 43612 : MPTCP_INC_STATS(sock_net(ssk), MPTCP_MIB_RCVWNDCONFLICT); + 1290 [ - - ]: 45364 : MPTCP_INC_STATS(sock_net(ssk), MPTCP_MIB_RCVWNDCONFLICT); 1291 : : } 1292 : : return; 1293 : : } 1294 : : - 1295 [ + + ]: 544606 : if (rcv_wnd_new != rcv_wnd_old) { - 1296 : 67979 : raise_win: - 1297 : 67980 : win = rcv_wnd_old - ack_seq; - 1298 : 67980 : tp->rcv_wnd = min_t(u64, win, U32_MAX); - 1299 : 67980 : new_win = tp->rcv_wnd; + 1295 [ + + ]: 462162 : if (rcv_wnd_new != rcv_wnd_old) { + 1296 : 63718 : raise_win: + 1297 : 63718 : win = rcv_wnd_old - ack_seq; + 1298 : 63718 : tp->rcv_wnd = min_t(u64, win, U32_MAX); + 1299 : 63718 : new_win = tp->rcv_wnd; 1300 : : 1301 : : /* Make sure we do not exceed the maximum possible 1302 : : * scaled window. 1303 : : */ - 1304 [ + + ]: 67980 : if (unlikely(th->syn)) - 1305 : 515 : new_win = min(new_win, 65535U) << tp->rx_opt.rcv_wscale; - 1306 [ - + - - ]: 67980 : if (!tp->rx_opt.rcv_wscale && + 1304 [ + + ]: 63718 : if (unlikely(th->syn)) + 1305 : 522 : new_win = min(new_win, 65535U) << tp->rx_opt.rcv_wscale; + 1306 [ - + - - ]: 63718 : if (!tp->rx_opt.rcv_wscale && 1307 [ # # ]: 0 : READ_ONCE(sock_net(ssk)->ipv4.sysctl_tcp_workaround_signed_windows)) 1308 : 0 : new_win = min(new_win, MAX_TCP_WINDOW); 1309 : : else - 1310 : 67980 : new_win = min(new_win, (65535U << tp->rx_opt.rcv_wscale)); + 1310 : 63718 : new_win = min(new_win, (65535U << tp->rx_opt.rcv_wscale)); 1311 : : 1312 : : /* RFC1323 scaling applied */ - 1313 : 67980 : new_win >>= tp->rx_opt.rcv_wscale; - 1314 : 67980 : th->window = htons(new_win); - 1315 [ + - ]: 67980 : MPTCP_INC_STATS(sock_net(ssk), MPTCP_MIB_RCVWNDSHARED); + 1313 : 63718 : new_win >>= tp->rx_opt.rcv_wscale; + 1314 : 63718 : th->window = htons(new_win); + 1315 [ + - ]: 63718 : MPTCP_INC_STATS(sock_net(ssk), MPTCP_MIB_RCVWNDSHARED); 1316 : : } 1317 : : } 1318 : : - 1319 : 2014 : __sum16 __mptcp_make_csum(u64 data_seq, u32 subflow_seq, u16 data_len, __wsum sum) + 1319 : 2039 : __sum16 __mptcp_make_csum(u64 data_seq, u32 subflow_seq, u16 data_len, __wsum sum) 1320 : : { - 1321 : 2014 : struct csum_pseudo_header header; - 1322 : 2014 : __wsum csum; + 1321 : 2039 : struct csum_pseudo_header header; + 1322 : 2039 : __wsum csum; 1323 : : 1324 : : /* cfr RFC 8684 3.3.1.: 1325 : : * the data sequence number used in the pseudo-header is 1326 : : * always the 64-bit value, irrespective of what length is used in the 1327 : : * DSS option itself. 1328 : : */ - 1329 : 2014 : header.data_seq = cpu_to_be64(data_seq); - 1330 : 2014 : header.subflow_seq = htonl(subflow_seq); - 1331 : 2014 : header.data_len = htons(data_len); - 1332 : 2014 : header.csum = 0; + 1329 : 2039 : header.data_seq = cpu_to_be64(data_seq); + 1330 : 2039 : header.subflow_seq = htonl(subflow_seq); + 1331 : 2039 : header.data_len = htons(data_len); + 1332 : 2039 : header.csum = 0; 1333 : : - 1334 : 2014 : csum = csum_partial(&header, sizeof(header), sum); - 1335 : 2014 : return csum_fold(csum); + 1334 : 2039 : csum = csum_partial(&header, sizeof(header), sum); + 1335 : 2039 : return csum_fold(csum); 1336 : : } 1337 : : - 1338 : 1874 : static __sum16 mptcp_make_csum(const struct mptcp_ext *mpext) + 1338 : 1907 : static __sum16 mptcp_make_csum(const struct mptcp_ext *mpext) 1339 : : { - 1340 : 3748 : return __mptcp_make_csum(mpext->data_seq, mpext->subflow_seq, mpext->data_len, - 1341 : 1874 : ~csum_unfold(mpext->csum)); + 1340 : 3814 : return __mptcp_make_csum(mpext->data_seq, mpext->subflow_seq, mpext->data_len, + 1341 : 1907 : ~csum_unfold(mpext->csum)); 1342 : : } 1343 : : 1344 : 0 : static void put_len_csum(u16 len, __sum16 csum, void *data) 1345 : : { - 1346 : 1880 : __sum16 *sumptr = data + 2; - 1347 : 1880 : __be16 *ptr = data; + 1346 : 1913 : __sum16 *sumptr = data + 2; + 1347 : 1913 : __be16 *ptr = data; 1348 : : - 1349 : 1880 : put_unaligned_be16(len, ptr); + 1349 : 1913 : put_unaligned_be16(len, ptr); 1350 : : - 1351 : 1880 : put_unaligned(csum, sumptr); - 1352 : 1880 : } + 1351 : 1913 : put_unaligned(csum, sumptr); + 1352 : 1913 : } 1353 : : - 1354 : 864219 : void mptcp_write_options(struct tcphdr *th, __be32 *ptr, struct tcp_sock *tp, + 1354 : 733502 : void mptcp_write_options(struct tcphdr *th, __be32 *ptr, struct tcp_sock *tp, 1355 : : struct mptcp_out_options *opts) 1356 : : { - 1357 : 864219 : const struct sock *ssk = (const struct sock *)tp; - 1358 : 864219 : struct mptcp_subflow_context *subflow; + 1357 : 733502 : const struct sock *ssk = (const struct sock *)tp; + 1358 : 733502 : struct mptcp_subflow_context *subflow; 1359 : : 1360 : : /* Which options can be used together? 1361 : : * @@ -1463,109 +1463,109 @@ 1379 : : * 1380 : : * The same applies in mptcp_established_options() function. 1381 : : */ - 1382 [ + + ]: 864219 : if (likely(OPTION_MPTCP_DSS & opts->suboptions)) { - 1383 : 857278 : struct mptcp_ext *mpext = &opts->ext_copy; - 1384 : 857278 : u8 len = TCPOLEN_MPTCP_DSS_BASE; - 1385 : 857278 : u8 flags = 0; + 1382 [ + + ]: 733502 : if (likely(OPTION_MPTCP_DSS & opts->suboptions)) { + 1383 : 726536 : struct mptcp_ext *mpext = &opts->ext_copy; + 1384 : 726536 : u8 len = TCPOLEN_MPTCP_DSS_BASE; + 1385 : 726536 : u8 flags = 0; 1386 : : - 1387 [ + - ]: 857278 : if (mpext->use_ack) { - 1388 : 857278 : flags = MPTCP_DSS_HAS_ACK; - 1389 [ + + ]: 857278 : if (mpext->ack64) { + 1387 [ + - ]: 726536 : if (mpext->use_ack) { + 1388 : 726536 : flags = MPTCP_DSS_HAS_ACK; + 1389 [ + + ]: 726536 : if (mpext->ack64) { 1390 : : len += TCPOLEN_MPTCP_DSS_ACK64; 1391 : : flags |= MPTCP_DSS_ACK64; 1392 : : } else { - 1393 : 108765 : len += TCPOLEN_MPTCP_DSS_ACK32; + 1393 : 94440 : len += TCPOLEN_MPTCP_DSS_ACK32; 1394 : : } 1395 : : } 1396 : : - 1397 [ + + ]: 857278 : if (mpext->use_map) { - 1398 : 499456 : len += TCPOLEN_MPTCP_DSS_MAP64; + 1397 [ + + ]: 726536 : if (mpext->use_map) { + 1398 : 407502 : len += TCPOLEN_MPTCP_DSS_MAP64; 1399 : : 1400 : : /* Use only 64-bit mapping flags for now, add 1401 : : * support for optional 32-bit mappings later. 1402 : : */ - 1403 : 499456 : flags |= MPTCP_DSS_HAS_MAP | MPTCP_DSS_DSN64; - 1404 [ + + ]: 499456 : if (mpext->data_fin) - 1405 : 11833 : flags |= MPTCP_DSS_DATA_FIN; + 1403 : 407502 : flags |= MPTCP_DSS_HAS_MAP | MPTCP_DSS_DSN64; + 1404 [ + + ]: 407502 : if (mpext->data_fin) + 1405 : 10967 : flags |= MPTCP_DSS_DATA_FIN; 1406 : : - 1407 [ + + ]: 499456 : if (opts->csum_reqd) - 1408 : 1876 : len += TCPOLEN_MPTCP_DSS_CHECKSUM; + 1407 [ + + ]: 407502 : if (opts->csum_reqd) + 1408 : 1909 : len += TCPOLEN_MPTCP_DSS_CHECKSUM; 1409 : : } 1410 : : - 1411 [ + - ]: 857278 : *ptr++ = mptcp_option(MPTCPOPT_DSS, len, 0, flags); + 1411 [ + - ]: 726536 : *ptr++ = mptcp_option(MPTCPOPT_DSS, len, 0, flags); 1412 : : - 1413 [ + - ]: 857278 : if (mpext->use_ack) { - 1414 [ + + ]: 857278 : if (mpext->ack64) { - 1415 : 748513 : put_unaligned_be64(mpext->data_ack, ptr); - 1416 : 748513 : ptr += 2; + 1413 [ + - ]: 726536 : if (mpext->use_ack) { + 1414 [ + + ]: 726536 : if (mpext->ack64) { + 1415 : 632096 : put_unaligned_be64(mpext->data_ack, ptr); + 1416 : 632096 : ptr += 2; 1417 : : } else { - 1418 : 108765 : put_unaligned_be32(mpext->data_ack32, ptr); - 1419 : 108765 : ptr += 1; + 1418 : 94440 : put_unaligned_be32(mpext->data_ack32, ptr); + 1419 : 94440 : ptr += 1; 1420 : : } 1421 : : } 1422 : : - 1423 [ + + ]: 857278 : if (mpext->use_map) { - 1424 [ + + ]: 499456 : put_unaligned_be64(mpext->data_seq, ptr); - 1425 : 499456 : ptr += 2; - 1426 [ + + ]: 499456 : put_unaligned_be32(mpext->subflow_seq, ptr); - 1427 : 499456 : ptr += 1; - 1428 [ + + ]: 499456 : if (opts->csum_reqd) { + 1423 [ + + ]: 726536 : if (mpext->use_map) { + 1424 [ + + ]: 407502 : put_unaligned_be64(mpext->data_seq, ptr); + 1425 : 407502 : ptr += 2; + 1426 [ + + ]: 407502 : put_unaligned_be32(mpext->subflow_seq, ptr); + 1427 : 407502 : ptr += 1; + 1428 [ + + ]: 407502 : if (opts->csum_reqd) { 1429 : : /* data_len == 0 is reserved for the infinite mapping, 1430 : : * the checksum will also be set to 0. 1431 : : */ - 1432 : 1876 : put_len_csum(mpext->data_len, - 1433 [ + + ]: 1876 : (mpext->data_len ? mptcp_make_csum(mpext) : 0), + 1432 : 1909 : put_len_csum(mpext->data_len, + 1433 [ + + ]: 1909 : (mpext->data_len ? mptcp_make_csum(mpext) : 0), 1434 : : ptr); 1435 : : } else { - 1436 : 497580 : put_unaligned_be32(mpext->data_len << 16 | - 1437 : 497580 : TCPOPT_NOP << 8 | TCPOPT_NOP, ptr); + 1436 : 405593 : put_unaligned_be32(mpext->data_len << 16 | + 1437 : 405593 : TCPOPT_NOP << 8 | TCPOPT_NOP, ptr); 1438 : : } - 1439 : 499456 : ptr += 1; + 1439 : 407502 : ptr += 1; 1440 : : } 1441 : : 1442 : : /* We might need to add MP_FAIL options in rare cases */ - 1443 [ + + ]: 857278 : if (unlikely(OPTION_MPTCP_FAIL & opts->suboptions)) + 1443 [ + + ]: 726536 : if (unlikely(OPTION_MPTCP_FAIL & opts->suboptions)) 1444 : 4 : goto mp_fail; - 1445 [ + + ]: 6941 : } else if (OPTIONS_MPTCP_MPC & opts->suboptions) { - 1446 : 4171 : u8 len, flag = MPTCP_CAP_HMAC_SHA256; + 1445 [ + + ]: 6966 : } else if (OPTIONS_MPTCP_MPC & opts->suboptions) { + 1446 : 4188 : u8 len, flag = MPTCP_CAP_HMAC_SHA256; 1447 : : - 1448 [ + + ]: 4171 : if (OPTION_MPTCP_MPC_SYN & opts->suboptions) { + 1448 [ + + ]: 4188 : if (OPTION_MPTCP_MPC_SYN & opts->suboptions) { 1449 : : len = TCPOLEN_MPTCP_MPC_SYN; - 1450 [ + + ]: 2893 : } else if (OPTION_MPTCP_MPC_SYNACK & opts->suboptions) { + 1450 [ + + ]: 2912 : } else if (OPTION_MPTCP_MPC_SYNACK & opts->suboptions) { 1451 : : len = TCPOLEN_MPTCP_MPC_SYNACK; - 1452 [ + + ]: 1705 : } else if (opts->data_len) { - 1453 : 586 : len = TCPOLEN_MPTCP_MPC_ACK_DATA; - 1454 [ + + ]: 586 : if (opts->csum_reqd) + 1452 [ + + ]: 1726 : } else if (opts->data_len) { + 1453 : 608 : len = TCPOLEN_MPTCP_MPC_ACK_DATA; + 1454 [ + + ]: 608 : if (opts->csum_reqd) 1455 : 4 : len += TCPOLEN_MPTCP_DSS_CHECKSUM; 1456 : : } else { 1457 : : len = TCPOLEN_MPTCP_MPC_ACK; 1458 : : } 1459 : : - 1460 [ + + ]: 4171 : if (opts->csum_reqd) + 1460 [ + + ]: 4188 : if (opts->csum_reqd) 1461 : 30 : flag |= MPTCP_CAP_CHECKSUM_REQD; 1462 : : - 1463 [ + + ]: 4171 : if (!opts->allow_join_id0) + 1463 [ + + ]: 4188 : if (!opts->allow_join_id0) 1464 : 18 : flag |= MPTCP_CAP_DENY_JOIN_ID0; 1465 : : - 1466 [ + + ]: 4171 : *ptr++ = mptcp_option(MPTCPOPT_MP_CAPABLE, len, + 1466 [ + + ]: 4188 : *ptr++ = mptcp_option(MPTCPOPT_MP_CAPABLE, len, 1467 : : MPTCP_SUPPORTED_VERSION, 1468 : : flag); 1469 : : - 1470 : 4171 : if (!((OPTION_MPTCP_MPC_SYNACK | OPTION_MPTCP_MPC_ACK) & - 1471 [ + + ]: 4171 : opts->suboptions)) - 1472 : 1278 : goto mp_capable_done; + 1470 : 4188 : if (!((OPTION_MPTCP_MPC_SYNACK | OPTION_MPTCP_MPC_ACK) & + 1471 [ + + ]: 4188 : opts->suboptions)) + 1472 : 1276 : goto mp_capable_done; 1473 : : - 1474 [ + + ]: 2893 : put_unaligned_be64(opts->sndr_key, ptr); - 1475 : 2893 : ptr += 2; - 1476 [ + + ]: 2893 : if (!((OPTION_MPTCP_MPC_ACK) & opts->suboptions)) - 1477 : 1188 : goto mp_capable_done; + 1474 [ + + ]: 2912 : put_unaligned_be64(opts->sndr_key, ptr); + 1475 : 2912 : ptr += 2; + 1476 [ + + ]: 2912 : if (!((OPTION_MPTCP_MPC_ACK) & opts->suboptions)) + 1477 : 1186 : goto mp_capable_done; 1478 : : - 1479 [ + + ]: 1705 : put_unaligned_be64(opts->rcvr_key, ptr); - 1480 : 1705 : ptr += 2; - 1481 [ + + ]: 1705 : if (!opts->data_len) - 1482 : 1119 : goto mp_capable_done; + 1479 [ + + ]: 1726 : put_unaligned_be64(opts->rcvr_key, ptr); + 1480 : 1726 : ptr += 2; + 1481 [ + + ]: 1726 : if (!opts->data_len) + 1482 : 1118 : goto mp_capable_done; 1483 : : - 1484 [ + + ]: 586 : if (opts->csum_reqd) { + 1484 [ + + ]: 608 : if (opts->csum_reqd) { 1485 : 4 : put_len_csum(opts->data_len, 1486 : 4 : __mptcp_make_csum(opts->data_seq, 1487 : : opts->subflow_seq, @@ -1573,43 +1573,43 @@ 1489 : 4 : ~csum_unfold(opts->csum)), 1490 : : ptr); 1491 : : } else { - 1492 : 582 : put_unaligned_be32(opts->data_len << 16 | - 1493 : 582 : TCPOPT_NOP << 8 | TCPOPT_NOP, ptr); + 1492 : 604 : put_unaligned_be32(opts->data_len << 16 | + 1493 : 604 : TCPOPT_NOP << 8 | TCPOPT_NOP, ptr); 1494 : : } - 1495 : 586 : ptr += 1; + 1495 : 608 : ptr += 1; 1496 : : 1497 : : /* MPC is additionally mutually exclusive with MP_PRIO */ - 1498 : 586 : goto mp_capable_done; - 1499 [ + + ]: 2770 : } else if (OPTIONS_MPTCP_MPJ & opts->suboptions) { - 1500 [ + + ]: 1593 : if (OPTION_MPTCP_MPJ_SYN & opts->suboptions) { - 1501 : 572 : *ptr++ = mptcp_option(MPTCPOPT_MP_JOIN, + 1498 : 608 : goto mp_capable_done; + 1499 [ + + ]: 2778 : } else if (OPTIONS_MPTCP_MPJ & opts->suboptions) { + 1500 [ + + ]: 1587 : if (OPTION_MPTCP_MPJ_SYN & opts->suboptions) { + 1501 : 569 : *ptr++ = mptcp_option(MPTCPOPT_MP_JOIN, 1502 : : TCPOLEN_MPTCP_MPJ_SYN, - 1503 : 572 : opts->backup, opts->join_id); - 1504 : 572 : put_unaligned_be32(opts->token, ptr); - 1505 : 572 : ptr += 1; - 1506 : 572 : put_unaligned_be32(opts->nonce, ptr); - 1507 : 572 : ptr += 1; - 1508 [ + + ]: 1021 : } else if (OPTION_MPTCP_MPJ_SYNACK & opts->suboptions) { - 1509 : 519 : *ptr++ = mptcp_option(MPTCPOPT_MP_JOIN, + 1503 : 569 : opts->backup, opts->join_id); + 1504 : 569 : put_unaligned_be32(opts->token, ptr); + 1505 : 569 : ptr += 1; + 1506 : 569 : put_unaligned_be32(opts->nonce, ptr); + 1507 : 569 : ptr += 1; + 1508 [ + + ]: 1018 : } else if (OPTION_MPTCP_MPJ_SYNACK & opts->suboptions) { + 1509 : 517 : *ptr++ = mptcp_option(MPTCPOPT_MP_JOIN, 1510 : : TCPOLEN_MPTCP_MPJ_SYNACK, - 1511 : 519 : opts->backup, opts->join_id); - 1512 : 519 : put_unaligned_be64(opts->thmac, ptr); - 1513 : 519 : ptr += 2; - 1514 : 519 : put_unaligned_be32(opts->nonce, ptr); - 1515 : 519 : ptr += 1; + 1511 : 517 : opts->backup, opts->join_id); + 1512 : 517 : put_unaligned_be64(opts->thmac, ptr); + 1513 : 517 : ptr += 2; + 1514 : 517 : put_unaligned_be32(opts->nonce, ptr); + 1515 : 517 : ptr += 1; 1516 : : } else { - 1517 : 502 : *ptr++ = mptcp_option(MPTCPOPT_MP_JOIN, + 1517 : 501 : *ptr++ = mptcp_option(MPTCPOPT_MP_JOIN, 1518 : : TCPOLEN_MPTCP_MPJ_ACK, 0, 0); - 1519 : 502 : memcpy(ptr, opts->hmac, MPTCPOPT_HMAC_LEN); - 1520 : 502 : ptr += 5; + 1519 : 501 : memcpy(ptr, opts->hmac, MPTCPOPT_HMAC_LEN); + 1520 : 501 : ptr += 5; 1521 : : } - 1522 [ + + ]: 1177 : } else if (OPTION_MPTCP_ADD_ADDR & opts->suboptions) { + 1522 [ + + ]: 1191 : } else if (OPTION_MPTCP_ADD_ADDR & opts->suboptions) { 1523 : 755 : u8 len = TCPOLEN_MPTCP_ADD_ADDR_BASE; 1524 : 755 : u8 echo = MPTCP_ADDR_ECHO; 1525 : : 1526 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) - 1527 [ + + ]: 755 : if (opts->addr.family == AF_INET6) - 1528 : 170 : len = TCPOLEN_MPTCP_ADD_ADDR6_BASE; + 1527 [ + + ]: 755 : if (opts->addr.family == AF_INET6) + 1528 : 169 : len = TCPOLEN_MPTCP_ADD_ADDR6_BASE; 1529 : : #endif 1530 : : 1531 [ + + ]: 755 : if (opts->addr.port) @@ -1621,15 +1621,15 @@ 1537 : : } 1538 : : 1539 : 755 : *ptr++ = mptcp_option(MPTCPOPT_ADD_ADDR, - 1540 [ + + ]: 755 : len, echo, opts->addr.id); - 1541 [ + + ]: 755 : if (opts->addr.family == AF_INET) { - 1542 : 585 : memcpy((u8 *)ptr, (u8 *)&opts->addr.addr.s_addr, 4); - 1543 : 585 : ptr += 1; + 1540 [ + + ]: 755 : len, echo, opts->addr.id); + 1541 [ + + ]: 755 : if (opts->addr.family == AF_INET) { + 1542 : 586 : memcpy((u8 *)ptr, (u8 *)&opts->addr.addr.s_addr, 4); + 1543 : 586 : ptr += 1; 1544 : : } 1545 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) - 1546 [ + - ]: 170 : else if (opts->addr.family == AF_INET6) { - 1547 : 170 : memcpy((u8 *)ptr, opts->addr.addr6.s6_addr, 16); - 1548 : 170 : ptr += 4; + 1546 [ + - ]: 169 : else if (opts->addr.family == AF_INET6) { + 1547 : 169 : memcpy((u8 *)ptr, opts->addr.addr6.s6_addr, 16); + 1548 : 169 : ptr += 4; 1549 : : } 1550 : : #endif 1551 : : @@ -1659,18 +1659,18 @@ 1575 : 40 : ptr += 1; 1576 : : } 1577 : : } - 1578 [ + + ]: 422 : } else if (unlikely(OPTION_MPTCP_FASTCLOSE & opts->suboptions)) { + 1578 [ + + ]: 436 : } else if (unlikely(OPTION_MPTCP_FASTCLOSE & opts->suboptions)) { 1579 : : /* FASTCLOSE is mutually exclusive with others except RST */ - 1580 : 359 : *ptr++ = mptcp_option(MPTCPOPT_MP_FASTCLOSE, + 1580 : 376 : *ptr++ = mptcp_option(MPTCPOPT_MP_FASTCLOSE, 1581 : : TCPOLEN_MPTCP_FASTCLOSE, 1582 : : 0, 0); - 1583 [ + - ]: 359 : put_unaligned_be64(opts->rcvr_key, ptr); - 1584 : 359 : ptr += 2; + 1583 [ + - ]: 376 : put_unaligned_be64(opts->rcvr_key, ptr); + 1584 : 376 : ptr += 2; 1585 : : - 1586 [ + - ]: 359 : if (OPTION_MPTCP_RST & opts->suboptions) - 1587 : 359 : goto mp_rst; + 1586 [ + - ]: 376 : if (OPTION_MPTCP_RST & opts->suboptions) + 1587 : 376 : goto mp_rst; 1588 : : return; - 1589 [ + + ]: 63 : } else if (unlikely(OPTION_MPTCP_FAIL & opts->suboptions)) { + 1589 [ + + ]: 60 : } else if (unlikely(OPTION_MPTCP_FAIL & opts->suboptions)) { 1590 : 2 : mp_fail: 1591 : : /* MP_FAIL is mutually exclusive with others except RST */ 1592 [ + + ]: 6 : subflow = mptcp_subflow_ctx(ssk); @@ -1685,16 +1685,16 @@ 1601 [ + + ]: 6 : if (OPTION_MPTCP_RST & opts->suboptions) 1602 : 2 : goto mp_rst; 1603 : : return; - 1604 [ + - ]: 61 : } else if (unlikely(OPTION_MPTCP_RST & opts->suboptions)) { - 1605 : 61 : mp_rst: - 1606 : 422 : *ptr++ = mptcp_option(MPTCPOPT_RST, + 1604 [ + - ]: 58 : } else if (unlikely(OPTION_MPTCP_RST & opts->suboptions)) { + 1605 : 58 : mp_rst: + 1606 : 436 : *ptr++ = mptcp_option(MPTCPOPT_RST, 1607 : : TCPOLEN_MPTCP_RST, - 1608 : 422 : opts->reset_transient, - 1609 : 422 : opts->reset_reason); - 1610 : 422 : return; + 1608 : 436 : opts->reset_transient, + 1609 : 436 : opts->reset_reason); + 1610 : 436 : return; 1611 : : } 1612 : : - 1613 [ + + ]: 859622 : if (OPTION_MPTCP_PRIO & opts->suboptions) { + 1613 [ + + ]: 728874 : if (OPTION_MPTCP_PRIO & opts->suboptions) { 1614 [ + - ]: 28 : subflow = mptcp_subflow_ctx(ssk); 1615 : 28 : subflow->send_mp_prio = 0; 1616 : : @@ -1705,8 +1705,8 @@ 1621 [ + - ]: 28 : MPTCP_INC_STATS(sock_net(ssk), MPTCP_MIB_MPPRIOTX); 1622 : : } 1623 : : - 1624 : 859594 : mp_capable_done: - 1625 [ + + ]: 863793 : if (OPTION_MPTCP_RM_ADDR & opts->suboptions) { + 1624 : 728846 : mp_capable_done: + 1625 [ + + ]: 733062 : if (OPTION_MPTCP_RM_ADDR & opts->suboptions) { 1626 : 106 : u8 i = 1; 1627 : : 1628 : 106 : *ptr++ = mptcp_option(MPTCPOPT_RM_ADDR, @@ -1726,8 +1726,8 @@ 1642 : : } 1643 : : } 1644 : : - 1645 [ + + ]: 863793 : if (tp) - 1646 : 862086 : mptcp_set_rwin(tp, th); + 1645 [ + + ]: 733062 : if (tp) + 1646 : 731359 : mptcp_set_rwin(tp, th); 1647 : : } 1648 : : 1649 : 16 : __be32 mptcp_get_reset_option(const struct sk_buff *skb) diff --git a/html/lcov/export/mptcp/pm.c.func-c.html b/html/lcov/export/mptcp/pm.c.func-c.html index 2f498558..ffa7f7ca 100644 --- a/html/lcov/export/mptcp/pm.c.func-c.html +++ b/html/lcov/export/mptcp/pm.c.func-c.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -172,7 +172,7 @@ mptcp_pm_subflow_chk_stale - 639 + 526 @@ -184,23 +184,23 @@ - mptcp_pm_subflow_check_next + mptcp_pm_add_addr_signal - 742 + 755 - mptcp_pm_add_addr_signal + mptcp_pm_announce_addr 755 - mptcp_pm_announce_addr + mptcp_pm_subflow_check_next - 755 + 758 @@ -228,7 +228,7 @@ mptcp_pm_schedule_work - 1385 + 1383 diff --git a/html/lcov/export/mptcp/pm.c.func.html b/html/lcov/export/mptcp/pm.c.func.html index 821b7704..981897d5 100644 --- a/html/lcov/export/mptcp/pm.c.func.html +++ b/html/lcov/export/mptcp/pm.c.func.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -235,7 +235,7 @@ mptcp_pm_schedule_work - 1385 + 1383 @@ -249,14 +249,14 @@ mptcp_pm_subflow_check_next - 742 + 758 mptcp_pm_subflow_chk_stale - 639 + 526 diff --git a/html/lcov/export/mptcp/pm.c.gcov.html b/html/lcov/export/mptcp/pm.c.gcov.html index b55a76e4..f73a0153 100644 --- a/html/lcov/export/mptcp/pm.c.gcov.html +++ b/html/lcov/export/mptcp/pm.c.gcov.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -189,17 +189,17 @@ 111 : : /* return true if the new status bit is currently cleared, that is, this event 112 : : * can be server, eventually by an already scheduled work 113 : : */ - 114 : 1385 : static bool mptcp_pm_schedule_work(struct mptcp_sock *msk, + 114 : 1383 : static bool mptcp_pm_schedule_work(struct mptcp_sock *msk, 115 : : enum mptcp_pm_status new_status) 116 : : { - 117 [ - + - - ]: 1385 : pr_debug("msk=%p status=%x new=%lx\n", msk, msk->pm.status, + 117 [ - + - - ]: 1383 : pr_debug("msk=%p status=%x new=%lx\n", msk, msk->pm.status, 118 : : BIT(new_status)); - 119 [ + + + + ]: 1385 : if (msk->pm.status & BIT(new_status)) + 119 [ + + + + ]: 1383 : if (msk->pm.status & BIT(new_status)) 120 : : return false; 121 : : - 122 [ - + ]: 1236 : msk->pm.status |= BIT(new_status); - 123 : 1236 : mptcp_schedule_work((struct sock *)msk); - 124 : 1236 : return true; + 122 [ - + ]: 1233 : msk->pm.status |= BIT(new_status); + 123 : 1233 : mptcp_schedule_work((struct sock *)msk); + 124 : 1233 : return true; 125 : : } 126 : : 127 : 2220 : void mptcp_pm_fully_established(struct mptcp_sock *msk, const struct sock *ssk) @@ -233,8 +233,8 @@ 155 : : { 156 [ - + ]: 3682 : pr_debug("msk=%p\n", msk); 157 : : - 158 [ + + ]: 3682 : if (msk->token) - 159 : 2272 : mptcp_event(MPTCP_EVENT_CLOSED, msk, NULL, GFP_KERNEL); + 158 [ + + ]: 3682 : if (msk->token) + 159 : 2283 : mptcp_event(MPTCP_EVENT_CLOSED, msk, NULL, GFP_KERNEL); 160 : 3682 : } 161 : : 162 : 996 : void mptcp_pm_subflow_established(struct mptcp_sock *msk) @@ -254,37 +254,37 @@ 176 : 261 : spin_unlock_bh(&pm->lock); 177 : : } 178 : : - 179 : 742 : void mptcp_pm_subflow_check_next(struct mptcp_sock *msk, + 179 : 758 : void mptcp_pm_subflow_check_next(struct mptcp_sock *msk, 180 : : const struct mptcp_subflow_context *subflow) 181 : : { - 182 : 742 : struct mptcp_pm_data *pm = &msk->pm; - 183 : 742 : bool update_subflows; + 182 : 758 : struct mptcp_pm_data *pm = &msk->pm; + 183 : 758 : bool update_subflows; 184 : : - 185 : 742 : update_subflows = subflow->request_join || subflow->mp_join; - 186 [ + + ]: 742 : if (mptcp_pm_is_userspace(msk)) { - 187 [ + + ]: 52 : if (update_subflows) { - 188 : 40 : spin_lock_bh(&pm->lock); - 189 : 40 : pm->subflows--; - 190 : 40 : spin_unlock_bh(&pm->lock); + 185 : 758 : update_subflows = subflow->request_join || subflow->mp_join; + 186 [ + + ]: 758 : if (mptcp_pm_is_userspace(msk)) { + 187 [ + + ]: 50 : if (update_subflows) { + 188 : 39 : spin_lock_bh(&pm->lock); + 189 : 39 : pm->subflows--; + 190 : 39 : spin_unlock_bh(&pm->lock); 191 : : } - 192 : 52 : return; + 192 : 50 : return; 193 : : } 194 : : - 195 [ + + + + : 690 : if (!READ_ONCE(pm->work_pending) && !update_subflows) - + + ] + 195 [ + + + + : 708 : if (!READ_ONCE(pm->work_pending) && !update_subflows) + + + ] 196 : : return; 197 : : - 198 : 296 : spin_lock_bh(&pm->lock); - 199 [ + - ]: 296 : if (update_subflows) - 200 : 296 : __mptcp_pm_close_subflow(msk); + 198 : 293 : spin_lock_bh(&pm->lock); + 199 [ + - ]: 293 : if (update_subflows) + 200 : 293 : __mptcp_pm_close_subflow(msk); 201 : : 202 : : /* Even if this subflow is not really established, tell the PM to try 203 : : * to pick the next ones, if possible. 204 : : */ - 205 [ + + ]: 296 : if (mptcp_pm_nl_check_work_pending(msk)) - 206 : 78 : mptcp_pm_schedule_work(msk, MPTCP_PM_SUBFLOW_ESTABLISHED); + 205 [ + + ]: 293 : if (mptcp_pm_nl_check_work_pending(msk)) + 206 : 77 : mptcp_pm_schedule_work(msk, MPTCP_PM_SUBFLOW_ESTABLISHED); 207 : : - 208 : 296 : spin_unlock_bh(&pm->lock); + 208 : 293 : spin_unlock_bh(&pm->lock); 209 : : } 210 : : 211 : 360 : void mptcp_pm_add_addr_received(const struct sock *ssk, @@ -333,8 +333,8 @@ 253 : 331 : spin_lock_bh(&pm->lock); 254 : : 255 [ + + + + : 331 : if (mptcp_lookup_anno_list_by_saddr(msk, addr) && READ_ONCE(pm->work_pending)) - + + ] - 256 : 86 : mptcp_pm_schedule_work(msk, MPTCP_PM_SUBFLOW_ESTABLISHED); + + + ] + 256 : 85 : mptcp_pm_schedule_work(msk, MPTCP_PM_SUBFLOW_ESTABLISHED); 257 : : 258 : 331 : spin_unlock_bh(&pm->lock); 259 : 331 : } @@ -433,7 +433,7 @@ 352 [ + + + + ]: 755 : port = !!(*echo ? msk->pm.remote.port : msk->pm.local.port); 353 : : 354 [ + + + + ]: 755 : family = *echo ? msk->pm.remote.family : msk->pm.local.family; - 355 [ + + + + : 1510 : if (remaining < mptcp_add_addr_len(family, *echo, port)) + 355 [ + + + + : 1510 : if (remaining < mptcp_add_addr_len(family, *echo, port)) - + ] 356 : 0 : goto out_unlock; 357 : : @@ -538,24 +538,24 @@ 456 : 46 : return mptcp_pm_nl_set_flags(skb, info); 457 : : } 458 : : - 459 : 639 : void mptcp_pm_subflow_chk_stale(const struct mptcp_sock *msk, struct sock *ssk) + 459 : 526 : void mptcp_pm_subflow_chk_stale(const struct mptcp_sock *msk, struct sock *ssk) 460 : : { - 461 [ - + ]: 639 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); - 462 [ - + ]: 639 : u32 rcv_tstamp = READ_ONCE(tcp_sk(ssk)->rcv_tstamp); + 461 [ - + ]: 526 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); + 462 [ - + ]: 526 : u32 rcv_tstamp = READ_ONCE(tcp_sk(ssk)->rcv_tstamp); 463 : : 464 : : /* keep track of rtx periods with no progress */ - 465 [ + + ]: 639 : if (!subflow->stale_count) { - 466 : 230 : subflow->stale_rcv_tstamp = rcv_tstamp; - 467 : 230 : subflow->stale_count++; - 468 [ + + ]: 409 : } else if (subflow->stale_rcv_tstamp == rcv_tstamp) { - 469 [ + - ]: 307 : if (subflow->stale_count < U8_MAX) - 470 : 307 : subflow->stale_count++; - 471 : 307 : mptcp_pm_nl_subflow_chk_stale(msk, ssk); + 465 [ + + ]: 526 : if (!subflow->stale_count) { + 466 : 201 : subflow->stale_rcv_tstamp = rcv_tstamp; + 467 : 201 : subflow->stale_count++; + 468 [ + + ]: 325 : } else if (subflow->stale_rcv_tstamp == rcv_tstamp) { + 469 [ + - ]: 223 : if (subflow->stale_count < U8_MAX) + 470 : 223 : subflow->stale_count++; + 471 : 223 : mptcp_pm_nl_subflow_chk_stale(msk, ssk); 472 : : } else { 473 : 102 : subflow->stale_count = 0; 474 : 102 : mptcp_subflow_set_active(subflow); 475 : : } - 476 : 639 : } + 476 : 526 : } 477 : : 478 : : /* if sk is ipv4 or ipv6_only allows only same-family local and remote addresses, 479 : : * otherwise allow any matching local/remote pair @@ -567,8 +567,8 @@ 485 : 663 : bool mptcp_is_v4 = sk->sk_family == AF_INET; 486 : : 487 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) - 488 [ + + + + ]: 663 : bool loc_is_v4 = loc->family == AF_INET || ipv6_addr_v4mapped(&loc->addr6); - 489 [ + + + + ]: 663 : bool rem_is_v4 = rem->family == AF_INET || ipv6_addr_v4mapped(&rem->addr6); + 488 [ + + + + ]: 663 : bool loc_is_v4 = loc->family == AF_INET || ipv6_addr_v4mapped(&loc->addr6); + 489 [ + + + + ]: 663 : bool rem_is_v4 = rem->family == AF_INET || ipv6_addr_v4mapped(&rem->addr6); 490 : : 491 [ + + ]: 663 : if (mptcp_is_v4) 492 : 538 : return loc_is_v4 && rem_is_v4; diff --git a/html/lcov/export/mptcp/pm_netlink.c.func-c.html b/html/lcov/export/mptcp/pm_netlink.c.func-c.html index c94f7de4..44980b2a 100644 --- a/html/lcov/export/mptcp/pm_netlink.c.func-c.html +++ b/html/lcov/export/mptcp/pm_netlink.c.func-c.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -56,9 +56,9 @@ Branches: - 61.6 % + 61.5 % 1032 - 636 + 635 @@ -287,6 +287,13 @@ 216 + + + mptcp_pm_nl_subflow_chk_stale + + 223 + + mptcp_pm_nl_get_addr_dumpit @@ -322,13 +329,6 @@ 289 - - - mptcp_pm_nl_subflow_chk_stale - - 307 - - select_signal_address @@ -375,7 +375,7 @@ mptcp_nl_mcast_send - 430 + 432 @@ -424,7 +424,7 @@ mptcp_pm_create_subflow_or_signal_addr - 793 + 791 @@ -438,35 +438,35 @@ mptcp_pm_send_ack - 864 + 865 __mptcp_pm_send_ack - 886 + 887 pm_nl_exit_net - 911 + 916 - pm_nl_init_net + mptcp_pm_nl_check_work_pending - 1088 + 1084 - mptcp_pm_nl_check_work_pending + pm_nl_init_net - 1089 + 1088 @@ -557,14 +557,14 @@ mptcp_event_pm_listener - 2512 + 2514 mptcp_local_address - 3407 + 3405 @@ -578,63 +578,63 @@ mptcp_pm_get_add_addr_signal_max - 4369 + 4357 mptcp_pm_get_add_addr_accept_max - 4671 + 4659 mptcp_pm_get_local_addr_max - 4671 + 4659 mptcp_pm_get_subflows_max - 5542 + 5529 mptcp_event - 8126 + 8135 mptcp_addresses_equal - 8900 + 8894 - pm_nl_get_pernet_from_msk + mptcp_pm_nl_work - 13228 + 11225 - mptcp_pm_nl_work + pm_nl_get_pernet_from_msk - 14733 + 13219 pm_nl_get_pernet - 16012 + 15956 diff --git a/html/lcov/export/mptcp/pm_netlink.c.func.html b/html/lcov/export/mptcp/pm_netlink.c.func.html index 3b9769be..faea1f7e 100644 --- a/html/lcov/export/mptcp/pm_netlink.c.func.html +++ b/html/lcov/export/mptcp/pm_netlink.c.func.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -56,9 +56,9 @@ Branches: - 61.6 % + 61.5 % 1032 - 636 + 635 @@ -116,7 +116,7 @@ __mptcp_pm_send_ack - 886 + 887 @@ -151,14 +151,14 @@ mptcp_addresses_equal - 8900 + 8894 mptcp_event - 8126 + 8135 @@ -193,7 +193,7 @@ mptcp_event_pm_listener - 2512 + 2514 @@ -214,7 +214,7 @@ mptcp_local_address - 3407 + 3405 @@ -256,7 +256,7 @@ mptcp_nl_mcast_send - 430 + 432 @@ -298,7 +298,7 @@ mptcp_pm_create_subflow_or_signal_addr - 793 + 791 @@ -326,28 +326,28 @@ mptcp_pm_get_add_addr_accept_max - 4671 + 4659 mptcp_pm_get_add_addr_signal_max - 4369 + 4357 mptcp_pm_get_local_addr_max - 4671 + 4659 mptcp_pm_get_subflows_max - 5542 + 5529 @@ -389,7 +389,7 @@ mptcp_pm_nl_check_work_pending - 1089 + 1084 @@ -522,14 +522,14 @@ mptcp_pm_nl_subflow_chk_stale - 307 + 223 mptcp_pm_nl_work - 14733 + 11225 @@ -564,7 +564,7 @@ mptcp_pm_send_ack - 864 + 865 @@ -599,21 +599,21 @@ pm_nl_exit_net - 911 + 916 pm_nl_get_pernet - 16012 + 15956 pm_nl_get_pernet_from_msk - 13228 + 13219 diff --git a/html/lcov/export/mptcp/pm_netlink.c.gcov.html b/html/lcov/export/mptcp/pm_netlink.c.gcov.html index 302b291a..ec210bb5 100644 --- a/html/lcov/export/mptcp/pm_netlink.c.gcov.html +++ b/html/lcov/export/mptcp/pm_netlink.c.gcov.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -56,9 +56,9 @@ Branches: - 61.6 % + 61.5 % 1032 - 636 + 635 @@ -121,38 +121,38 @@ 43 : : #define MPTCP_PM_ADDR_MAX 8 44 : : #define ADD_ADDR_RETRANS_MAX 3 45 : : - 46 : 16012 : static struct pm_nl_pernet *pm_nl_get_pernet(const struct net *net) + 46 : 15956 : static struct pm_nl_pernet *pm_nl_get_pernet(const struct net *net) 47 : : { - 48 : 29844 : return net_generic(net, pm_nl_pernet_id); + 48 : 29785 : return net_generic(net, pm_nl_pernet_id); 49 : : } 50 : : 51 : : static struct pm_nl_pernet * - 52 : 13228 : pm_nl_get_pernet_from_msk(const struct mptcp_sock *msk) + 52 : 13219 : pm_nl_get_pernet_from_msk(const struct mptcp_sock *msk) 53 : : { - 54 : 25505 : return pm_nl_get_pernet(sock_net((struct sock *)msk)); + 54 : 25440 : return pm_nl_get_pernet(sock_net((struct sock *)msk)); 55 : : } 56 : : - 57 : 8900 : bool mptcp_addresses_equal(const struct mptcp_addr_info *a, + 57 : 8894 : bool mptcp_addresses_equal(const struct mptcp_addr_info *a, 58 : : const struct mptcp_addr_info *b, bool use_port) 59 : : { - 60 : 8900 : bool addr_equals = false; + 60 : 8894 : bool addr_equals = false; 61 : : - 62 [ + + ]: 8900 : if (a->family == b->family) { - 63 [ + + ]: 7514 : if (a->family == AF_INET) - 64 : 6492 : addr_equals = a->addr.s_addr == b->addr.s_addr; + 62 [ + + ]: 8894 : if (a->family == b->family) { + 63 [ + + ]: 7510 : if (a->family == AF_INET) + 64 : 6502 : addr_equals = a->addr.s_addr == b->addr.s_addr; 65 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) 66 : : else - 67 : 1022 : addr_equals = !ipv6_addr_cmp(&a->addr6, &b->addr6); - 68 [ + + ]: 1386 : } else if (a->family == AF_INET) { - 69 [ + + ]: 988 : if (ipv6_addr_v4mapped(&b->addr6)) - 70 : 672 : addr_equals = a->addr.s_addr == b->addr6.s6_addr32[3]; - 71 [ + - ]: 398 : } else if (b->family == AF_INET) { - 72 [ + + ]: 398 : if (ipv6_addr_v4mapped(&a->addr6)) - 73 : 183 : addr_equals = a->addr6.s6_addr32[3] == b->addr.s_addr; + 67 : 1008 : addr_equals = !ipv6_addr_cmp(&a->addr6, &b->addr6); + 68 [ + + ]: 1384 : } else if (a->family == AF_INET) { + 69 [ + + ]: 979 : if (ipv6_addr_v4mapped(&b->addr6)) + 70 : 678 : addr_equals = a->addr.s_addr == b->addr6.s6_addr32[3]; + 71 [ + - ]: 405 : } else if (b->family == AF_INET) { + 72 [ + + ]: 405 : if (ipv6_addr_v4mapped(&a->addr6)) + 73 : 182 : addr_equals = a->addr6.s6_addr32[3] == b->addr.s_addr; 74 : : #endif 75 : : } 76 : : - 77 [ + + ]: 8369 : if (!addr_equals) + 77 [ + + ]: 8370 : if (!addr_equals) 78 : : return false; 79 [ + + ]: 2004 : if (!use_port) 80 : : return true; @@ -160,28 +160,28 @@ 82 : 836 : return a->port == b->port; 83 : : } 84 : : - 85 : 3407 : void mptcp_local_address(const struct sock_common *skc, struct mptcp_addr_info *addr) + 85 : 3405 : void mptcp_local_address(const struct sock_common *skc, struct mptcp_addr_info *addr) 86 : : { - 87 : 3407 : addr->family = skc->skc_family; - 88 : 3407 : addr->port = htons(skc->skc_num); - 89 [ + + ]: 3407 : if (addr->family == AF_INET) - 90 : 1656 : addr->addr.s_addr = skc->skc_rcv_saddr; + 87 : 3405 : addr->family = skc->skc_family; + 88 : 3405 : addr->port = htons(skc->skc_num); + 89 [ + + ]: 3405 : if (addr->family == AF_INET) + 90 : 1658 : addr->addr.s_addr = skc->skc_rcv_saddr; 91 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) - 92 [ + - ]: 1751 : else if (addr->family == AF_INET6) - 93 : 1751 : addr->addr6 = skc->skc_v6_rcv_saddr; + 92 [ + - ]: 1747 : else if (addr->family == AF_INET6) + 93 : 1747 : addr->addr6 = skc->skc_v6_rcv_saddr; 94 : : #endif - 95 : 3407 : } + 95 : 3405 : } 96 : : 97 : 0 : static void remote_address(const struct sock_common *skc, 98 : : struct mptcp_addr_info *addr) 99 : : { - 100 : 783 : addr->family = skc->skc_family; - 101 : 783 : addr->port = skc->skc_dport; - 102 : 783 : if (addr->family == AF_INET) + 100 : 782 : addr->family = skc->skc_family; + 101 : 782 : addr->port = skc->skc_dport; + 102 : 782 : if (addr->family == AF_INET) 103 : 595 : addr->addr.s_addr = skc->skc_daddr; 104 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) - 105 [ - - - - : 188 : else if (addr->family == AF_INET6) - + - + - + + 105 [ - - - - : 187 : else if (addr->family == AF_INET6) + + - + - + - ] 106 : 0 : addr->addr6 = skc->skc_v6_daddr; 107 : : #endif @@ -194,11 +194,11 @@ 114 : 102 : struct mptcp_addr_info cur; 115 : 102 : struct sock_common *skc; 116 : : - 117 [ + + ]: 224 : list_for_each_entry(subflow, list, node) { - 118 : 200 : skc = (struct sock_common *)mptcp_subflow_tcp_sock(subflow); + 117 [ + + ]: 222 : list_for_each_entry(subflow, list, node) { + 118 : 198 : skc = (struct sock_common *)mptcp_subflow_tcp_sock(subflow); 119 : : - 120 : 200 : mptcp_local_address(skc, &cur); - 121 [ + + ]: 200 : if (mptcp_addresses_equal(&cur, saddr, saddr->port)) + 120 : 198 : mptcp_local_address(skc, &cur); + 121 [ + + ]: 198 : if (mptcp_addresses_equal(&cur, saddr, saddr->port)) 122 : : return true; 123 : : } 124 : : @@ -211,15 +211,15 @@ 131 : 289 : struct mptcp_subflow_context *subflow; 132 : 289 : struct mptcp_addr_info cur; 133 : : - 134 [ + + ]: 764 : list_for_each_entry(subflow, list, node) { - 135 : 493 : struct sock *ssk = mptcp_subflow_tcp_sock(subflow); + 134 [ + + ]: 763 : list_for_each_entry(subflow, list, node) { + 135 : 492 : struct sock *ssk = mptcp_subflow_tcp_sock(subflow); 136 : : - 137 [ + + + + ]: 493 : if (!((1 << inet_sk_state_load(ssk)) & + 137 [ + + + + ]: 492 : if (!((1 << inet_sk_state_load(ssk)) & 138 : : (TCPF_ESTABLISHED | TCPF_SYN_SENT | TCPF_SYN_RECV))) 139 : 4 : continue; 140 : : - 141 [ + + ]: 489 : remote_address((struct sock_common *)ssk, &cur); - 142 [ + + ]: 489 : if (mptcp_addresses_equal(&cur, daddr, daddr->port)) + 141 [ + + ]: 488 : remote_address((struct sock_common *)ssk, &cur); + 142 [ + + ]: 488 : if (mptcp_addresses_equal(&cur, daddr, daddr->port)) 143 : : return true; 144 : : } 145 : : @@ -294,47 +294,47 @@ 206 : 310 : return found; 207 : : } 208 : : - 209 : 4519 : unsigned int mptcp_pm_get_add_addr_signal_max(const struct mptcp_sock *msk) + 209 : 4507 : unsigned int mptcp_pm_get_add_addr_signal_max(const struct mptcp_sock *msk) 210 : : { - 211 : 4369 : const struct pm_nl_pernet *pernet = pm_nl_get_pernet_from_msk(msk); + 211 : 4357 : const struct pm_nl_pernet *pernet = pm_nl_get_pernet_from_msk(msk); 212 : : - 213 : 5162 : return READ_ONCE(pernet->add_addr_signal_max); + 213 : 5148 : return READ_ONCE(pernet->add_addr_signal_max); 214 : : } 215 : : EXPORT_SYMBOL_GPL(mptcp_pm_get_add_addr_signal_max); 216 : : - 217 : 4454 : unsigned int mptcp_pm_get_add_addr_accept_max(const struct mptcp_sock *msk) + 217 : 4444 : unsigned int mptcp_pm_get_add_addr_accept_max(const struct mptcp_sock *msk) 218 : : { - 219 : 4454 : struct pm_nl_pernet *pernet = pm_nl_get_pernet_from_msk(msk); + 219 : 4444 : struct pm_nl_pernet *pernet = pm_nl_get_pernet_from_msk(msk); 220 : : - 221 : 4787 : return READ_ONCE(pernet->add_addr_accept_max); + 221 : 4777 : return READ_ONCE(pernet->add_addr_accept_max); 222 : : } 223 : : EXPORT_SYMBOL_GPL(mptcp_pm_get_add_addr_accept_max); 224 : : - 225 : 5181 : unsigned int mptcp_pm_get_subflows_max(const struct mptcp_sock *msk) + 225 : 5170 : unsigned int mptcp_pm_get_subflows_max(const struct mptcp_sock *msk) 226 : : { - 227 : 5181 : struct pm_nl_pernet *pernet = pm_nl_get_pernet_from_msk(msk); + 227 : 5170 : struct pm_nl_pernet *pernet = pm_nl_get_pernet_from_msk(msk); 228 : : - 229 : 7529 : return READ_ONCE(pernet->subflows_max); + 229 : 7511 : return READ_ONCE(pernet->subflows_max); 230 : : } 231 : : EXPORT_SYMBOL_GPL(mptcp_pm_get_subflows_max); 232 : : - 233 : 4821 : unsigned int mptcp_pm_get_local_addr_max(const struct mptcp_sock *msk) + 233 : 4809 : unsigned int mptcp_pm_get_local_addr_max(const struct mptcp_sock *msk) 234 : : { - 235 : 4671 : struct pm_nl_pernet *pernet = pm_nl_get_pernet_from_msk(msk); + 235 : 4659 : struct pm_nl_pernet *pernet = pm_nl_get_pernet_from_msk(msk); 236 : : - 237 : 5464 : return READ_ONCE(pernet->local_addr_max); + 237 : 5450 : return READ_ONCE(pernet->local_addr_max); 238 : : } 239 : : EXPORT_SYMBOL_GPL(mptcp_pm_get_local_addr_max); 240 : : - 241 : 1089 : bool mptcp_pm_nl_check_work_pending(struct mptcp_sock *msk) + 241 : 1084 : bool mptcp_pm_nl_check_work_pending(struct mptcp_sock *msk) 242 : : { - 243 : 1089 : struct pm_nl_pernet *pernet = pm_nl_get_pernet_from_msk(msk); + 243 : 1084 : struct pm_nl_pernet *pernet = pm_nl_get_pernet_from_msk(msk); 244 : : - 245 [ + + + + ]: 1816 : if (msk->pm.subflows == mptcp_pm_get_subflows_max(msk) || - 246 [ + - ]: 901 : (find_next_and_bit(pernet->id_bitmap, msk->pm.id_avail_bitmap, + 245 [ + + + + ]: 1804 : if (msk->pm.subflows == mptcp_pm_get_subflows_max(msk) || + 246 [ + - ]: 894 : (find_next_and_bit(pernet->id_bitmap, msk->pm.id_avail_bitmap, 247 : : MPTCP_PM_MAX_ADDR_ID + 1, 0) == MPTCP_PM_MAX_ADDR_ID + 1)) { - 248 : 848 : WRITE_ONCE(msk->pm.work_pending, false); - 249 : 848 : return false; + 248 : 844 : WRITE_ONCE(msk->pm.work_pending, false); + 249 : 844 : return false; 250 : : } 251 : : return true; 252 : : } @@ -570,33 +570,33 @@ 480 : 340 : return i; 481 : : } 482 : : - 483 : 886 : static void __mptcp_pm_send_ack(struct mptcp_sock *msk, struct mptcp_subflow_context *subflow, + 483 : 887 : static void __mptcp_pm_send_ack(struct mptcp_sock *msk, struct mptcp_subflow_context *subflow, 484 : : bool prio, bool backup) 485 : : { - 486 [ - + ]: 886 : struct sock *ssk = mptcp_subflow_tcp_sock(subflow); - 487 : 886 : bool slow; + 486 [ - + ]: 887 : struct sock *ssk = mptcp_subflow_tcp_sock(subflow); + 487 : 887 : bool slow; 488 : : - 489 [ - + - - : 886 : pr_debug("send ack for %s\n", + 489 [ - + - - : 887 : pr_debug("send ack for %s\n", - - ] 490 : : prio ? "mp_prio" : (mptcp_pm_should_add_signal(msk) ? "add_addr" : "rm_addr")); 491 : : - 492 : 886 : slow = lock_sock_fast(ssk); - 493 [ + + ]: 886 : if (prio) { + 492 : 887 : slow = lock_sock_fast(ssk); + 493 [ + + ]: 887 : if (prio) { 494 : 28 : subflow->send_mp_prio = 1; 495 : 28 : subflow->request_bkup = backup; 496 : : } 497 : : - 498 : 886 : __mptcp_subflow_send_ack(ssk); - 499 : 886 : unlock_sock_fast(ssk, slow); - 500 : 886 : } + 498 : 887 : __mptcp_subflow_send_ack(ssk); + 499 : 887 : unlock_sock_fast(ssk, slow); + 500 : 887 : } 501 : : - 502 : 864 : static void mptcp_pm_send_ack(struct mptcp_sock *msk, struct mptcp_subflow_context *subflow, + 502 : 865 : static void mptcp_pm_send_ack(struct mptcp_sock *msk, struct mptcp_subflow_context *subflow, 503 : : bool prio, bool backup) 504 : : { - 505 : 864 : spin_unlock_bh(&msk->pm.lock); - 506 : 864 : __mptcp_pm_send_ack(msk, subflow, prio, backup); - 507 : 864 : spin_lock_bh(&msk->pm.lock); - 508 : 864 : } + 505 : 865 : spin_unlock_bh(&msk->pm.lock); + 506 : 865 : __mptcp_pm_send_ack(msk, subflow, prio, backup); + 507 : 865 : spin_lock_bh(&msk->pm.lock); + 508 : 865 : } 509 : : 510 : : static struct mptcp_pm_addr_entry * 511 : 450 : __lookup_addr_by_id(struct pm_nl_pernet *pernet, unsigned int id) @@ -620,35 +620,35 @@ 525 : : { 526 : 1586 : struct mptcp_pm_addr_entry *entry; 527 : : - 528 [ + + + + : 3111 : list_for_each_entry_rcu(entry, &pernet->local_addr_list, list, + 528 [ + + + + : 3108 : list_for_each_entry_rcu(entry, &pernet->local_addr_list, list, - + - - - - - - - + + - - - + + ] 529 : : lockdep_is_held(&pernet->lock)) { - 530 [ + + ]: 2155 : if (mptcp_addresses_equal(&entry->addr, info, entry->addr.port)) + 530 [ + + ]: 2152 : if (mptcp_addresses_equal(&entry->addr, info, entry->addr.port)) 531 : : return entry; 532 : : } 533 : : return NULL; 534 : : } 535 : : - 536 : 793 : static void mptcp_pm_create_subflow_or_signal_addr(struct mptcp_sock *msk) + 536 : 791 : static void mptcp_pm_create_subflow_or_signal_addr(struct mptcp_sock *msk) 537 : : { - 538 : 793 : struct sock *sk = (struct sock *)msk; - 539 : 793 : unsigned int add_addr_signal_max; - 540 : 793 : bool signal_and_subflow = false; - 541 : 793 : unsigned int local_addr_max; - 542 : 793 : struct pm_nl_pernet *pernet; - 543 : 793 : struct mptcp_pm_local local; - 544 : 793 : unsigned int subflows_max; + 538 : 791 : struct sock *sk = (struct sock *)msk; + 539 : 791 : unsigned int add_addr_signal_max; + 540 : 791 : bool signal_and_subflow = false; + 541 : 791 : unsigned int local_addr_max; + 542 : 791 : struct pm_nl_pernet *pernet; + 543 : 791 : struct mptcp_pm_local local; + 544 : 791 : unsigned int subflows_max; 545 : : - 546 : 793 : pernet = pm_nl_get_pernet(sock_net(sk)); + 546 : 791 : pernet = pm_nl_get_pernet(sock_net(sk)); 547 : : - 548 : 793 : add_addr_signal_max = mptcp_pm_get_add_addr_signal_max(msk); - 549 : 793 : local_addr_max = mptcp_pm_get_local_addr_max(msk); - 550 : 793 : subflows_max = mptcp_pm_get_subflows_max(msk); + 548 : 791 : add_addr_signal_max = mptcp_pm_get_add_addr_signal_max(msk); + 549 : 791 : local_addr_max = mptcp_pm_get_local_addr_max(msk); + 550 : 791 : subflows_max = mptcp_pm_get_subflows_max(msk); 551 : : 552 : : /* do lazy endpoint usage accounting for the MPC subflows */ - 553 [ + + + - ]: 793 : if (unlikely(!(msk->pm.status & BIT(MPTCP_PM_MPC_ENDPOINT_ACCOUNTED))) && msk->first) { + 553 [ + + + - ]: 791 : if (unlikely(!(msk->pm.status & BIT(MPTCP_PM_MPC_ENDPOINT_ACCOUNTED))) && msk->first) { 554 : 480 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(msk->first); 555 : 480 : struct mptcp_pm_addr_entry *entry; 556 : 480 : struct mptcp_addr_info mpc_addr; @@ -671,13 +671,13 @@ 572 : 480 : msk->pm.status |= BIT(MPTCP_PM_MPC_ENDPOINT_ACCOUNTED); 573 : : } 574 : : - 575 [ - + ]: 793 : pr_debug("local %d:%d signal %d:%d subflows %d:%d\n", + 575 [ - + ]: 791 : pr_debug("local %d:%d signal %d:%d subflows %d:%d\n", 576 : : msk->pm.local_addr_used, local_addr_max, 577 : : msk->pm.add_addr_signaled, add_addr_signal_max, 578 : : msk->pm.subflows, subflows_max); 579 : : 580 : : /* check first for announce */ - 581 [ + + ]: 793 : if (msk->pm.add_addr_signaled < add_addr_signal_max) { + 581 [ + + ]: 791 : if (msk->pm.add_addr_signaled < add_addr_signal_max) { 582 : : /* due to racing events on both ends we can reach here while 583 : : * previous add address is still running: if we invoke now 584 : : * mptcp_pm_announce_addr(), that will fail and the @@ -712,9 +712,9 @@ 612 : 150 : signal_and_subflow = true; 613 : : } 614 : : - 615 : 785 : subflow: + 615 : 783 : subflow: 616 : : /* check if should create a new subflow */ - 617 [ + + ]: 1143 : while (msk->pm.local_addr_used < local_addr_max && + 617 [ + + ]: 1141 : while (msk->pm.local_addr_used < local_addr_max && 618 [ + + ]: 390 : msk->pm.subflows < subflows_max) { 619 : 378 : struct mptcp_addr_info addrs[MPTCP_PM_ADDR_MAX]; 620 : 378 : bool fullmesh; @@ -745,7 +745,7 @@ 644 : 354 : __mptcp_subflow_connect(sk, &local, &addrs[i]); 645 : 340 : spin_lock_bh(&msk->pm.lock); 646 : : } - 647 : 793 : mptcp_pm_nl_check_work_pending(msk); + 647 : 791 : mptcp_pm_nl_check_work_pending(msk); 648 : : } 649 : : 650 : 102 : static void mptcp_pm_nl_fully_established(struct mptcp_sock *msk) @@ -755,8 +755,8 @@ 654 : : 655 : 48 : static void mptcp_pm_nl_subflow_established(struct mptcp_sock *msk) 656 : : { - 657 : 279 : mptcp_pm_create_subflow_or_signal_addr(msk); - 658 : 279 : } + 657 : 277 : mptcp_pm_create_subflow_or_signal_addr(msk); + 658 : 277 : } 659 : : 660 : : /* Fill all the local addresses into the array addrs[], 661 : : * and return the array size. @@ -809,7 +809,7 @@ 706 : 267 : memset(&locals[i], 0, sizeof(locals[i])); 707 : 534 : locals[i].addr.family = 708 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) - 709 [ + + + + ]: 267 : remote->family == AF_INET6 && + 709 [ + + + + ]: 267 : remote->family == AF_INET6 && 710 [ # # ]: 0 : ipv6_addr_v4mapped(&remote->addr6) ? AF_INET : 711 : : #endif 712 : : remote->family; @@ -891,15 +891,15 @@ 788 : 861 : msk_owned_by_me(msk); 789 [ + - - + ]: 861 : lockdep_assert_held(&msk->pm.lock); 790 : : - 791 [ + + + + ]: 861 : if (!mptcp_pm_should_add_signal(msk) && + 791 [ + + + + ]: 861 : if (!mptcp_pm_should_add_signal(msk) && 792 [ # # ]: 0 : !mptcp_pm_should_rm_signal(msk)) 793 : : return; 794 : : - 795 [ + - ]: 872 : mptcp_for_each_subflow(msk, subflow) { - 796 [ + + ]: 872 : if (__mptcp_subflow_active(subflow)) { - 797 [ + - ]: 858 : if (!subflow->stale) { - 798 : 858 : mptcp_pm_send_ack(msk, subflow, false, false); - 799 : 858 : return; + 795 [ + - ]: 873 : mptcp_for_each_subflow(msk, subflow) { + 796 [ + + ]: 873 : if (__mptcp_subflow_active(subflow)) { + 797 [ + - ]: 859 : if (!subflow->stale) { + 798 : 859 : mptcp_pm_send_ack(msk, subflow, false, false); + 799 : 859 : return; 800 : : } 801 : : 802 [ # # ]: 0 : if (!alt) @@ -1027,40 +1027,40 @@ 924 : 86 : mptcp_pm_nl_rm_addr_or_subflow(msk, rm_list, MPTCP_MIB_RMSUBFLOW); 925 : 12 : } 926 : : - 927 : 14733 : void mptcp_pm_nl_work(struct mptcp_sock *msk) + 927 : 11225 : void mptcp_pm_nl_work(struct mptcp_sock *msk) 928 : : { - 929 : 14733 : struct mptcp_pm_data *pm = &msk->pm; + 929 : 11225 : struct mptcp_pm_data *pm = &msk->pm; 930 : : - 931 : 14733 : msk_owned_by_me(msk); + 931 : 11225 : msk_owned_by_me(msk); 932 : : - 933 [ + + ]: 14733 : if (!(pm->status & MPTCP_PM_WORK_MASK)) + 933 [ + + ]: 11225 : if (!(pm->status & MPTCP_PM_WORK_MASK)) 934 : : return; 935 : : - 936 : 958 : spin_lock_bh(&msk->pm.lock); + 936 : 957 : spin_lock_bh(&msk->pm.lock); 937 : : - 938 [ - + ]: 958 : pr_debug("msk=%p status=%x\n", msk, pm->status); - 939 [ + + ]: 958 : if (pm->status & BIT(MPTCP_PM_ADD_ADDR_RECEIVED)) { + 938 [ - + ]: 957 : pr_debug("msk=%p status=%x\n", msk, pm->status); + 939 [ + + ]: 957 : if (pm->status & BIT(MPTCP_PM_ADD_ADDR_RECEIVED)) { 940 : 289 : pm->status &= ~BIT(MPTCP_PM_ADD_ADDR_RECEIVED); 941 : 289 : mptcp_pm_nl_add_addr_received(msk); 942 : : } - 943 [ + + ]: 958 : if (pm->status & BIT(MPTCP_PM_ADD_ADDR_SEND_ACK)) { + 943 [ + + ]: 957 : if (pm->status & BIT(MPTCP_PM_ADD_ADDR_SEND_ACK)) { 944 : 122 : pm->status &= ~BIT(MPTCP_PM_ADD_ADDR_SEND_ACK); 945 : 122 : mptcp_pm_nl_addr_send_ack(msk); 946 : : } - 947 [ + + ]: 958 : if (pm->status & BIT(MPTCP_PM_RM_ADDR_RECEIVED)) { + 947 [ + + ]: 957 : if (pm->status & BIT(MPTCP_PM_RM_ADDR_RECEIVED)) { 948 : 106 : pm->status &= ~BIT(MPTCP_PM_RM_ADDR_RECEIVED); 949 : 106 : mptcp_pm_nl_rm_addr_received(msk); 950 : : } - 951 [ + + ]: 958 : if (pm->status & BIT(MPTCP_PM_ESTABLISHED)) { + 951 [ + + ]: 957 : if (pm->status & BIT(MPTCP_PM_ESTABLISHED)) { 952 : 436 : pm->status &= ~BIT(MPTCP_PM_ESTABLISHED); 953 : 436 : mptcp_pm_nl_fully_established(msk); 954 : : } - 955 [ + + ]: 958 : if (pm->status & BIT(MPTCP_PM_SUBFLOW_ESTABLISHED)) { - 956 : 279 : pm->status &= ~BIT(MPTCP_PM_SUBFLOW_ESTABLISHED); - 957 : 279 : mptcp_pm_nl_subflow_established(msk); + 955 [ + + ]: 957 : if (pm->status & BIT(MPTCP_PM_SUBFLOW_ESTABLISHED)) { + 956 : 277 : pm->status &= ~BIT(MPTCP_PM_SUBFLOW_ESTABLISHED); + 957 : 277 : mptcp_pm_nl_subflow_established(msk); 958 : : } 959 : : - 960 : 958 : spin_unlock_bh(&msk->pm.lock); + 960 : 957 : spin_unlock_bh(&msk->pm.lock); 961 : : } 962 : : 963 : 0 : static bool address_use_port(struct mptcp_pm_addr_entry *entry) @@ -1302,40 +1302,40 @@ 1196 : : }, 1197 : : }; 1198 : : - 1199 : 307 : void mptcp_pm_nl_subflow_chk_stale(const struct mptcp_sock *msk, struct sock *ssk) + 1199 : 223 : void mptcp_pm_nl_subflow_chk_stale(const struct mptcp_sock *msk, struct sock *ssk) 1200 : : { - 1201 : 307 : struct mptcp_subflow_context *iter, *subflow = mptcp_subflow_ctx(ssk); - 1202 : 307 : struct sock *sk = (struct sock *)msk; - 1203 : 307 : unsigned int active_max_loss_cnt; - 1204 : 307 : struct net *net = sock_net(sk); - 1205 : 307 : unsigned int stale_loss_cnt; - 1206 : 307 : bool slow; + 1201 : 223 : struct mptcp_subflow_context *iter, *subflow = mptcp_subflow_ctx(ssk); + 1202 : 223 : struct sock *sk = (struct sock *)msk; + 1203 : 223 : unsigned int active_max_loss_cnt; + 1204 : 223 : struct net *net = sock_net(sk); + 1205 : 223 : unsigned int stale_loss_cnt; + 1206 : 223 : bool slow; 1207 : : - 1208 : 307 : stale_loss_cnt = mptcp_stale_loss_cnt(net); - 1209 [ + + + - : 307 : if (subflow->stale || !stale_loss_cnt || subflow->stale_count <= stale_loss_cnt) - + + ] + 1208 : 223 : stale_loss_cnt = mptcp_stale_loss_cnt(net); + 1209 [ + + + - : 223 : if (subflow->stale || !stale_loss_cnt || subflow->stale_count <= stale_loss_cnt) + + + ] 1210 : : return; 1211 : : 1212 : : /* look for another available subflow not in loss state */ - 1213 : 223 : active_max_loss_cnt = max_t(int, stale_loss_cnt - 1, 1); - 1214 [ + + ]: 450 : mptcp_for_each_subflow(msk, iter) { - 1215 [ + + + + ]: 242 : if (iter != subflow && mptcp_subflow_active(iter) && - 1216 [ + + ]: 19 : iter->stale_count < active_max_loss_cnt) { + 1213 : 145 : active_max_loss_cnt = max_t(int, stale_loss_cnt - 1, 1); + 1214 [ + + ]: 296 : mptcp_for_each_subflow(msk, iter) { + 1215 [ + + + + ]: 165 : if (iter != subflow && mptcp_subflow_active(iter) && + 1216 [ + + ]: 18 : iter->stale_count < active_max_loss_cnt) { 1217 : : /* we have some alternatives, try to mark this subflow as idle ...*/ - 1218 : 15 : slow = lock_sock_fast(ssk); - 1219 [ + + ]: 15 : if (!tcp_rtx_and_write_queues_empty(ssk)) { - 1220 : 15 : subflow->stale = 1; - 1221 : 15 : __mptcp_retransmit_pending_data(sk); - 1222 [ + - ]: 15 : MPTCP_INC_STATS(net, MPTCP_MIB_SUBFLOWSTALE); + 1218 : 14 : slow = lock_sock_fast(ssk); + 1219 [ - + ]: 14 : if (!tcp_rtx_and_write_queues_empty(ssk)) { + 1220 : 14 : subflow->stale = 1; + 1221 : 14 : __mptcp_retransmit_pending_data(sk); + 1222 [ + - ]: 14 : MPTCP_INC_STATS(net, MPTCP_MIB_SUBFLOWSTALE); 1223 : : } - 1224 : 15 : unlock_sock_fast(ssk, slow); + 1224 : 14 : unlock_sock_fast(ssk, slow); 1225 : : 1226 : : /* always try to push the pending data regardless of re-injections: 1227 : : * we can possibly use backup subflows now, and subflow selection 1228 : : * is cheap under the msk socket lock 1229 : : */ - 1230 : 15 : __mptcp_push_pending(sk, 0); - 1231 : 15 : return; + 1230 : 14 : __mptcp_push_pending(sk, 0); + 1231 : 14 : return; 1232 : : } 1233 : : } 1234 : : } @@ -2155,11 +2155,11 @@ 2040 : 48 : return mptcp_pm_set_flags(skb, info); 2041 : : } 2042 : : - 2043 : 430 : static void mptcp_nl_mcast_send(struct net *net, struct sk_buff *nlskb, gfp_t gfp) + 2043 : 432 : static void mptcp_nl_mcast_send(struct net *net, struct sk_buff *nlskb, gfp_t gfp) 2044 : : { - 2045 : 430 : genlmsg_multicast_netns(&mptcp_genl_family, net, + 2045 : 432 : genlmsg_multicast_netns(&mptcp_genl_family, net, 2046 : : nlskb, 0, MPTCP_PM_EV_GRP_OFFSET, gfp); - 2047 : 430 : } + 2047 : 432 : } 2048 : : 2049 : 78 : bool mptcp_userspace_pm_active(const struct mptcp_sock *msk) 2050 : : { @@ -2185,7 +2185,7 @@ 2070 : : break; 2071 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) 2072 : : case AF_INET6: { - 2073 [ + - ]: 116 : const struct ipv6_pinfo *np = inet6_sk(ssk); + 2073 [ + - ]: 116 : const struct ipv6_pinfo *np = inet6_sk(ssk); 2074 : : 2075 [ - + ]: 116 : if (nla_put_in6_addr(skb, MPTCP_ATTR_SADDR6, &np->saddr)) 2076 : : return -EMSGSIZE; @@ -2383,39 +2383,39 @@ 2267 : 0 : nlmsg_free(skb); 2268 : : } 2269 : : - 2270 : 2512 : void mptcp_event_pm_listener(const struct sock *ssk, + 2270 : 2514 : void mptcp_event_pm_listener(const struct sock *ssk, 2271 : : enum mptcp_event_type event) 2272 : : { - 2273 : 2512 : const struct inet_sock *issk = inet_sk(ssk); - 2274 : 2512 : struct net *net = sock_net(ssk); - 2275 : 2512 : struct nlmsghdr *nlh; - 2276 : 2512 : struct sk_buff *skb; + 2273 : 2514 : const struct inet_sock *issk = inet_sk(ssk); + 2274 : 2514 : struct net *net = sock_net(ssk); + 2275 : 2514 : struct nlmsghdr *nlh; + 2276 : 2514 : struct sk_buff *skb; 2277 : : - 2278 [ + + ]: 2512 : if (!genl_has_listeners(&mptcp_genl_family, net, MPTCP_PM_EV_GRP_OFFSET)) + 2278 [ + + ]: 2514 : if (!genl_has_listeners(&mptcp_genl_family, net, MPTCP_PM_EV_GRP_OFFSET)) 2279 : : return; 2280 : : - 2281 : 54 : skb = nlmsg_new(NLMSG_DEFAULT_SIZE, GFP_KERNEL); - 2282 [ + - ]: 54 : if (!skb) + 2281 : 56 : skb = nlmsg_new(NLMSG_DEFAULT_SIZE, GFP_KERNEL); + 2282 [ + - ]: 56 : if (!skb) 2283 : : return; 2284 : : - 2285 : 54 : nlh = genlmsg_put(skb, 0, 0, &mptcp_genl_family, 0, event); - 2286 [ - + ]: 54 : if (!nlh) + 2285 : 56 : nlh = genlmsg_put(skb, 0, 0, &mptcp_genl_family, 0, event); + 2286 [ - + ]: 56 : if (!nlh) 2287 : 0 : goto nla_put_failure; 2288 : : - 2289 [ - + ]: 54 : if (nla_put_u16(skb, MPTCP_ATTR_FAMILY, ssk->sk_family)) + 2289 [ - + ]: 56 : if (nla_put_u16(skb, MPTCP_ATTR_FAMILY, ssk->sk_family)) 2290 : 0 : goto nla_put_failure; 2291 : : - 2292 [ - + ]: 54 : if (nla_put_be16(skb, MPTCP_ATTR_SPORT, issk->inet_sport)) + 2292 [ - + ]: 56 : if (nla_put_be16(skb, MPTCP_ATTR_SPORT, issk->inet_sport)) 2293 : 0 : goto nla_put_failure; 2294 : : - 2295 [ + + - ]: 54 : switch (ssk->sk_family) { - 2296 : 26 : case AF_INET: - 2297 [ - + ]: 26 : if (nla_put_in_addr(skb, MPTCP_ATTR_SADDR4, issk->inet_saddr)) + 2295 [ + + - ]: 56 : switch (ssk->sk_family) { + 2296 : 28 : case AF_INET: + 2297 [ - + ]: 28 : if (nla_put_in_addr(skb, MPTCP_ATTR_SADDR4, issk->inet_saddr)) 2298 : 0 : goto nla_put_failure; 2299 : : break; 2300 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) 2301 : : case AF_INET6: { - 2302 [ + - ]: 28 : const struct ipv6_pinfo *np = inet6_sk(ssk); + 2302 [ + - ]: 28 : const struct ipv6_pinfo *np = inet6_sk(ssk); 2303 : : 2304 [ - + ]: 28 : if (nla_put_in6_addr(skb, MPTCP_ATTR_SADDR6, &np->saddr)) 2305 : 0 : goto nla_put_failure; @@ -2427,22 +2427,22 @@ 2311 : 0 : goto nla_put_failure; 2312 : : } 2313 : : - 2314 : 54 : genlmsg_end(skb, nlh); - 2315 : 54 : mptcp_nl_mcast_send(net, skb, GFP_KERNEL); - 2316 : 54 : return; + 2314 : 56 : genlmsg_end(skb, nlh); + 2315 : 56 : mptcp_nl_mcast_send(net, skb, GFP_KERNEL); + 2316 : 56 : return; 2317 : : 2318 : 0 : nla_put_failure: 2319 : 0 : nlmsg_free(skb); 2320 : : } 2321 : : - 2322 : 8126 : void mptcp_event(enum mptcp_event_type type, const struct mptcp_sock *msk, + 2322 : 8135 : void mptcp_event(enum mptcp_event_type type, const struct mptcp_sock *msk, 2323 : : const struct sock *ssk, gfp_t gfp) 2324 : : { - 2325 : 8126 : struct net *net = sock_net((const struct sock *)msk); - 2326 : 8126 : struct nlmsghdr *nlh; - 2327 : 8126 : struct sk_buff *skb; + 2325 : 8135 : struct net *net = sock_net((const struct sock *)msk); + 2326 : 8135 : struct nlmsghdr *nlh; + 2327 : 8135 : struct sk_buff *skb; 2328 : : - 2329 [ + + ]: 8126 : if (!genl_has_listeners(&mptcp_genl_family, net, MPTCP_PM_EV_GRP_OFFSET)) + 2329 [ + + ]: 8135 : if (!genl_has_listeners(&mptcp_genl_family, net, MPTCP_PM_EV_GRP_OFFSET)) 2330 : : return; 2331 : : 2332 : 280 : skb = nlmsg_new(NLMSG_DEFAULT_SIZE, gfp); @@ -2525,11 +2525,11 @@ 2408 : 1088 : return 0; 2409 : : } 2410 : : - 2411 : 911 : static void __net_exit pm_nl_exit_net(struct list_head *net_list) + 2411 : 916 : static void __net_exit pm_nl_exit_net(struct list_head *net_list) 2412 : : { - 2413 : 911 : struct net *net; + 2413 : 916 : struct net *net; 2414 : : - 2415 [ + + ]: 1906 : list_for_each_entry(net, net_list, exit_list) { + 2415 [ + + ]: 1911 : list_for_each_entry(net, net_list, exit_list) { 2416 : 995 : struct pm_nl_pernet *pernet = pm_nl_get_pernet(net); 2417 : : 2418 : : /* net is removed from namespace list, can't race with @@ -2538,7 +2538,7 @@ 2421 : : */ 2422 : 995 : __flush_addrs(&pernet->local_addr_list); 2423 : : } - 2424 : 911 : } + 2424 : 916 : } 2425 : : 2426 : : static struct pernet_operations mptcp_pm_pernet_ops = { 2427 : : .init = pm_nl_init_net, diff --git a/html/lcov/export/mptcp/pm_userspace.c.func-c.html b/html/lcov/export/mptcp/pm_userspace.c.func-c.html index a9d1960f..e42a5661 100644 --- a/html/lcov/export/mptcp/pm_userspace.c.func-c.html +++ b/html/lcov/export/mptcp/pm_userspace.c.func-c.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % diff --git a/html/lcov/export/mptcp/pm_userspace.c.func.html b/html/lcov/export/mptcp/pm_userspace.c.func.html index 86f624e8..0edf4dfe 100644 --- a/html/lcov/export/mptcp/pm_userspace.c.func.html +++ b/html/lcov/export/mptcp/pm_userspace.c.func.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % diff --git a/html/lcov/export/mptcp/pm_userspace.c.gcov.html b/html/lcov/export/mptcp/pm_userspace.c.gcov.html index 0fdf879d..f63606f9 100644 --- a/html/lcov/export/mptcp/pm_userspace.c.gcov.html +++ b/html/lcov/export/mptcp/pm_userspace.c.gcov.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % diff --git a/html/lcov/export/mptcp/protocol.c.func-c.html b/html/lcov/export/mptcp/protocol.c.func-c.html index d97b4357..d2a1c42f 100644 --- a/html/lcov/export/mptcp/protocol.c.func-c.html +++ b/html/lcov/export/mptcp/protocol.c.func-c.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 95.7 % @@ -58,7 +58,7 @@ Branches: 68.5 % 1621 - 1111 + 1110 @@ -214,7 +214,7 @@ mptcp_do_fastclose - 346 + 363 @@ -249,7 +249,7 @@ __mptcp_close_subflow - 583 + 590 @@ -263,35 +263,35 @@ __mptcp_retransmit_pending_data - 757 + 772 - __mptcp_subflow_disconnect + mptcp_close_ssk - 776 + 794 - mptcp_close_ssk + __mptcp_subflow_disconnect - 780 + 813 __mptcp_error_report - 836 + 817 mptcp_update_data_checksum - 874 + 890 @@ -319,7 +319,7 @@ mptcp_set_datafin_timeout - 1072 + 1083 @@ -347,7 +347,7 @@ mptcp_listen - 1242 + 1243 @@ -366,23 +366,23 @@ - mptcp_shutdown + mptcp_subflow_get_retrans - 1456 + 1463 - mptcp_subflow_get_retrans + mptcp_shutdown - 1666 + 1475 __mptcp_wr_shutdown - 2131 + 2145 @@ -396,7 +396,7 @@ mptcp_check_listen_stop - 2404 + 2385 @@ -417,7 +417,7 @@ mptcp_close_state - 2523 + 2544 @@ -438,14 +438,14 @@ mptcp_send_ack - 2750 + 2751 mptcp_subflow_shutdown - 2985 + 3008 @@ -492,576 +492,576 @@ - __mptcp_init_sock + mptcp_subflow_send_ack - 3684 + 3681 - mptcp_subflow_send_ack + __mptcp_init_sock - 3685 + 3684 mptcp_close_wake_up - 4335 + 4344 __mptcp_subflow_send_ack - 4571 + 4568 mptcp_sock_graft - 4642 + 4640 mptcp_copy_inaddrs - 4916 + 4918 __mptcp_close_ssk - 5377 + 5412 __mptcp_subflow_error_report - 5530 + 5457 mptcp_forward_alloc_get - 5555 + 5535 __mptcp_nmpc_sk - 7134 + 7135 mptcp_check_and_set_pending - 12056 + 8472 __mptcp_retrans - 12961 + 9234 mptcp_clean_una_wakeup - 12961 + 9234 mptcp_retransmit_timer - 13284 + 9542 mptcp_check_data_fin_ack - 14733 + 11225 mptcp_check_fastclose - 14733 + 11225 mptcp_close_tout_expired - 14733 + 11225 mptcp_check_data_fin - 14802 + 11249 mptcp_worker - 14816 + 11324 mptcp_schedule_work - 16223 + 12803 mptcp_set_state - 16803 + 16867 mptcp_rfree - 24927 + 22174 - mptcp_subflow_process_delegated + mptcp_stop_rtx_timer - 33061 + 25003 - mptcp_stop_rtx_timer + mptcp_subflow_process_delegated - 33620 + 30125 mptcp_napi_poll - 37474 + 31945 __mptcp_clean_una_wakeup - 50944 + 43839 mptcp_wnd_end - 52625 + 49034 __mptcp_subflow_push_pending - 100317 + 77806 mptcp_data_queue_ofo - 108517 + 105467 tcp_can_send_ack - 120516 + 117774 mptcp_subflow_cleanup_rbuf - 211453 + 189718 mptcp_subflow_recv_lookup - 257527 + 210297 - __mptcp_splice_receive_queue + __mptcp_rmem_reclaim - 267213 + 226340 - __mptcp_rmem_reclaim + mptcp_reset_rtx_timer - 273550 + 226876 - mptcp_reset_rtx_timer + __mptcp_clean_una - 284615 + 227127 - __mptcp_clean_una + __mptcp_splice_receive_queue - 285739 + 232039 - __mptcp_data_acked + mptcp_pending_data_fin_ack - 290273 + 238352 - mptcp_pending_data_fin_ack + __mptcp_data_acked - 300472 + 239545 - __mptcp_add_ext + mptcp_rmem_uncharge - 302749 + 255340 - __mptcp_alloc_tx_skb + __mptcp_add_ext - 302749 + 255622 - __mptcp_do_alloc_tx_skb + __mptcp_alloc_tx_skb - 302749 + 255622 - mptcp_rmem_uncharge + __mptcp_do_alloc_tx_skb - 305998 + 255622 mptcp_set_owner_r - 326140 + 268269 mptcp_set_timeout - 353130 + 305258 - __mptcp_move_skbs + mptcp_check_writeable - 417492 + 348515 - mptcp_check_send_data_fin + __mptcp_move_skbs - 423191 + 354990 - mptcp_check_writeable + mptcp_try_coalesce - 426355 + 358364 - mptcp_try_coalesce + mptcp_check_send_data_fin - 448439 + 385400 mptcp_subflow_get_send - 489244 + 410375 dfrag_clear - 519345 + 453103 mptcp_carve_data_frag - 519351 + 453109 mptcp_page_frag_refill - 519351 + 453109 - mptcp_push_release + mptcp_update_post_push - 559392 + 511297 - mptcp_sendmsg + mptcp_push_release - 570004 + 513137 - __mptcp_push_pending + mptcp_sendmsg - 595452 + 522460 - mptcp_update_post_push + move_skbs_to_msk - 599701 + 524565 - mptcp_skb_can_collapse_to + __mptcp_move_skbs_from_subflow - 608153 + 525220 - move_skbs_to_msk + mptcp_data_ready - 636939 + 525587 - __mptcp_move_skbs_from_subflow + __mptcp_move_skb - 637455 + 527332 - mptcp_data_ready + mptcp_rmem_schedule - 637568 + 527332 - __mptcp_move_skb + mptcp_skb_can_collapse_to - 640944 + 527710 - mptcp_rmem_schedule + mptcp_pending_data_fin - 640944 + 535814 - mptcp_pending_data_fin + __mptcp_push_pending - 651741 + 544882 __subflow_push_pending - 669944 + 594542 do_copy_data_nocache - 687578 + 607676 mptcp_frag_can_collapse_to - 687578 + 607676 mptcp_send_limit - 691196 + 609310 mptcp_recvmsg - 740810 + 625479 - mptcp_poll + mptcp_rcv_space_adjust - 742881 + 647979 - mptcp_rcv_space_adjust + mptcp_poll - 766566 + 658540 mptcp_check_allowed_size - 790629 + 671620 mptcp_sendmsg_frag - 790629 + 671620 __mptcp_set_timeout - 842374 + 715633 __mptcp_ofo_queue - 904152 + 756604 __mptcp_recvmsg_mskq - 962608 + 812854 mptcp_cleanup_rbuf - 962608 + 812854 __mptcp_check_push - 982493 + 828346 mptcp_subflow_active - 1321377 + 1144761 mptcp_release_cb - 1385113 + 1213521 - __mptcp_update_rmem + mptcp_rmem_fwd_alloc_add - 1652842 + 1411420 - mptcp_subflow_could_cleanup + __mptcp_update_rmem - 1678978 + 1446215 - mptcp_rmem_fwd_alloc_add + mptcp_subflow_could_cleanup - 1709437 + 1456687 diff --git a/html/lcov/export/mptcp/protocol.c.func.html b/html/lcov/export/mptcp/protocol.c.func.html index 5d22ddbf..c6f77129 100644 --- a/html/lcov/export/mptcp/protocol.c.func.html +++ b/html/lcov/export/mptcp/protocol.c.func.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 95.7 % @@ -58,7 +58,7 @@ Branches: 68.5 % 1621 - 1111 + 1110 @@ -81,35 +81,35 @@ __mptcp_add_ext - 302749 + 255622 __mptcp_alloc_tx_skb - 302749 + 255622 __mptcp_check_push - 982493 + 828346 __mptcp_clean_una - 285739 + 227127 __mptcp_clean_una_wakeup - 50944 + 43839 @@ -130,21 +130,21 @@ __mptcp_close_ssk - 5377 + 5412 __mptcp_close_subflow - 583 + 590 __mptcp_data_acked - 290273 + 239545 @@ -158,14 +158,14 @@ __mptcp_do_alloc_tx_skb - 302749 + 255622 __mptcp_error_report - 836 + 817 @@ -193,77 +193,77 @@ __mptcp_move_skb - 640944 + 527332 __mptcp_move_skbs - 417492 + 354990 __mptcp_move_skbs_from_subflow - 637455 + 525220 __mptcp_nmpc_sk - 7134 + 7135 __mptcp_ofo_queue - 904152 + 756604 __mptcp_push_pending - 595452 + 544882 __mptcp_recvmsg_mskq - 962608 + 812854 __mptcp_retrans - 12961 + 9234 __mptcp_retransmit_pending_data - 757 + 772 __mptcp_rmem_reclaim - 273550 + 226340 __mptcp_set_timeout - 842374 + 715633 @@ -277,35 +277,35 @@ __mptcp_splice_receive_queue - 267213 + 232039 __mptcp_subflow_disconnect - 776 + 813 __mptcp_subflow_error_report - 5530 + 5457 __mptcp_subflow_push_pending - 100317 + 77806 __mptcp_subflow_send_ack - 4571 + 4568 @@ -319,42 +319,42 @@ __mptcp_update_rmem - 1652842 + 1446215 __mptcp_wr_shutdown - 2131 + 2145 __subflow_push_pending - 669944 + 594542 dfrag_clear - 519345 + 453103 do_copy_data_nocache - 687578 + 607676 move_skbs_to_msk - 636939 + 524565 @@ -382,77 +382,77 @@ mptcp_carve_data_frag - 519351 + 453109 mptcp_check_allowed_size - 790629 + 671620 mptcp_check_and_set_pending - 12056 + 8472 mptcp_check_data_fin - 14802 + 11249 mptcp_check_data_fin_ack - 14733 + 11225 mptcp_check_fastclose - 14733 + 11225 mptcp_check_listen_stop - 2404 + 2385 mptcp_check_send_data_fin - 423191 + 385400 mptcp_check_writeable - 426355 + 348515 mptcp_clean_una_wakeup - 12961 + 9234 mptcp_cleanup_rbuf - 962608 + 812854 @@ -466,28 +466,28 @@ mptcp_close_ssk - 780 + 794 mptcp_close_state - 2523 + 2544 mptcp_close_tout_expired - 14733 + 11225 mptcp_close_wake_up - 4335 + 4344 @@ -501,7 +501,7 @@ mptcp_copy_inaddrs - 4916 + 4918 @@ -522,14 +522,14 @@ mptcp_data_queue_ofo - 108517 + 105467 mptcp_data_ready - 637568 + 525587 @@ -557,7 +557,7 @@ mptcp_do_fastclose - 346 + 363 @@ -599,14 +599,14 @@ mptcp_forward_alloc_get - 5555 + 5535 mptcp_frag_can_collapse_to - 687578 + 607676 @@ -655,7 +655,7 @@ mptcp_listen - 1242 + 1243 @@ -669,35 +669,35 @@ mptcp_napi_poll - 37474 + 31945 mptcp_page_frag_refill - 519351 + 453109 mptcp_pending_data_fin - 651741 + 535814 mptcp_pending_data_fin_ack - 300472 + 238352 mptcp_poll - 742881 + 658540 @@ -718,14 +718,14 @@ mptcp_push_release - 559392 + 513137 mptcp_rcv_space_adjust - 766566 + 647979 @@ -739,21 +739,21 @@ mptcp_recvmsg - 740810 + 625479 mptcp_release_cb - 1385113 + 1213521 mptcp_reset_rtx_timer - 284615 + 226876 @@ -767,63 +767,63 @@ mptcp_retransmit_timer - 13284 + 9542 mptcp_rfree - 24927 + 22174 mptcp_rmem_fwd_alloc_add - 1709437 + 1411420 mptcp_rmem_schedule - 640944 + 527332 mptcp_rmem_uncharge - 305998 + 255340 mptcp_schedule_work - 16223 + 12803 mptcp_send_ack - 2750 + 2751 mptcp_send_limit - 691196 + 609310 mptcp_sendmsg - 570004 + 522460 @@ -837,42 +837,42 @@ mptcp_sendmsg_frag - 790629 + 671620 mptcp_set_datafin_timeout - 1072 + 1083 mptcp_set_owner_r - 326140 + 268269 mptcp_set_state - 16803 + 16867 mptcp_set_timeout - 353130 + 305258 mptcp_shutdown - 1456 + 1475 @@ -886,21 +886,21 @@ mptcp_skb_can_collapse_to - 608153 + 527710 mptcp_sock_graft - 4642 + 4640 mptcp_stop_rtx_timer - 33620 + 25003 @@ -914,35 +914,35 @@ mptcp_subflow_active - 1321377 + 1144761 mptcp_subflow_cleanup_rbuf - 211453 + 189718 mptcp_subflow_could_cleanup - 1678978 + 1456687 mptcp_subflow_get_retrans - 1666 + 1463 mptcp_subflow_get_send - 489244 + 410375 @@ -956,21 +956,21 @@ mptcp_subflow_process_delegated - 33061 + 30125 mptcp_subflow_recv_lookup - 257527 + 210297 mptcp_subflow_send_ack - 3685 + 3681 @@ -984,7 +984,7 @@ mptcp_subflow_shutdown - 2985 + 3008 @@ -1005,7 +1005,7 @@ mptcp_try_coalesce - 448439 + 358364 @@ -1019,7 +1019,7 @@ mptcp_update_data_checksum - 874 + 890 @@ -1033,21 +1033,21 @@ mptcp_update_post_push - 599701 + 511297 mptcp_wnd_end - 52625 + 49034 mptcp_worker - 14816 + 11324 @@ -1061,7 +1061,7 @@ tcp_can_send_ack - 120516 + 117774 diff --git a/html/lcov/export/mptcp/protocol.c.gcov.html b/html/lcov/export/mptcp/protocol.c.gcov.html index aa43d026..5471f798 100644 --- a/html/lcov/export/mptcp/protocol.c.gcov.html +++ b/html/lcov/export/mptcp/protocol.c.gcov.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 95.7 % @@ -58,7 +58,7 @@ Branches: 68.5 % 1621 - 1111 + 1110 @@ -128,9 +128,9 @@ 50 : : static struct net_device mptcp_napi_dev; 51 : : 52 : : /* Returns end sequence number of the receiver's advertised window */ - 53 : 339080 : u64 mptcp_wnd_end(const struct mptcp_sock *msk) + 53 : 334882 : u64 mptcp_wnd_end(const struct mptcp_sock *msk) 54 : : { - 55 : 339080 : return READ_ONCE(msk->wnd_end); + 55 : 334882 : return READ_ONCE(msk->wnd_end); 56 : : } 57 : : 58 : 94 : static const struct proto_ops *mptcp_fallback_tcp_ops(const struct sock *sk) @@ -173,21 +173,21 @@ 95 : : /* If the MPC handshake is not started, returns the first subflow, 96 : : * eventually allocating it. 97 : : */ - 98 : 7134 : struct sock *__mptcp_nmpc_sk(struct mptcp_sock *msk) + 98 : 7135 : struct sock *__mptcp_nmpc_sk(struct mptcp_sock *msk) 99 : : { - 100 : 7134 : struct sock *sk = (struct sock *)msk; - 101 : 7134 : int ret; + 100 : 7135 : struct sock *sk = (struct sock *)msk; + 101 : 7135 : int ret; 102 : : - 103 [ + + + + ]: 7134 : if (!((1 << sk->sk_state) & (TCPF_CLOSE | TCPF_LISTEN))) + 103 [ + + + + ]: 7135 : if (!((1 << sk->sk_state) & (TCPF_CLOSE | TCPF_LISTEN))) 104 : : return ERR_PTR(-EINVAL); 105 : : - 106 [ + + ]: 7116 : if (!msk->first) { + 106 [ + + ]: 7117 : if (!msk->first) { 107 : 2506 : ret = __mptcp_socket_create(msk); 108 [ - + ]: 2506 : if (ret) 109 : 0 : return ERR_PTR(ret); 110 : : } 111 : : - 112 : 7116 : return msk->first; + 112 : 7117 : return msk->first; 113 : : } 114 : : 115 : 0 : static void mptcp_drop(struct sock *sk, struct sk_buff *skb) @@ -196,108 +196,108 @@ 118 : 0 : __kfree_skb(skb); 119 : : } 120 : : - 121 : 1709437 : static void mptcp_rmem_fwd_alloc_add(struct sock *sk, int size) + 121 : 1411420 : static void mptcp_rmem_fwd_alloc_add(struct sock *sk, int size) 122 : : { - 123 [ - + - + ]: 1709437 : WRITE_ONCE(mptcp_sk(sk)->rmem_fwd_alloc, + 123 [ - + - + ]: 1411420 : WRITE_ONCE(mptcp_sk(sk)->rmem_fwd_alloc, 124 : : mptcp_sk(sk)->rmem_fwd_alloc + size); - 125 : 1709437 : } + 125 : 1411420 : } 126 : : - 127 : 122803 : static void mptcp_rmem_charge(struct sock *sk, int size) + 127 : 124453 : static void mptcp_rmem_charge(struct sock *sk, int size) 128 : : { - 129 : 938641 : mptcp_rmem_fwd_alloc_add(sk, -size); + 129 : 775229 : mptcp_rmem_fwd_alloc_add(sk, -size); 130 : : } 131 : : - 132 : 448439 : static bool mptcp_try_coalesce(struct sock *sk, struct sk_buff *to, + 132 : 358364 : static bool mptcp_try_coalesce(struct sock *sk, struct sk_buff *to, 133 : : struct sk_buff *from) 134 : : { - 135 : 448439 : bool fragstolen; - 136 : 448439 : int delta; + 135 : 358364 : bool fragstolen; + 136 : 358364 : int delta; 137 : : - 138 [ + + + + ]: 896867 : if (MPTCP_SKB_CB(from)->offset || - 139 : 448428 : !skb_try_coalesce(to, from, &fragstolen, &delta)) - 140 : 109488 : return false; + 138 [ + + + + ]: 716718 : if (MPTCP_SKB_CB(from)->offset || + 139 : 358354 : !skb_try_coalesce(to, from, &fragstolen, &delta)) + 140 : 77744 : return false; 141 : : - 142 [ - + ]: 338951 : pr_debug("colesced seq %llx into %llx new len %d new end seq %llx\n", + 142 [ - + ]: 280620 : pr_debug("colesced seq %llx into %llx new len %d new end seq %llx\n", 143 : : MPTCP_SKB_CB(from)->map_seq, MPTCP_SKB_CB(to)->map_seq, 144 : : to->len, MPTCP_SKB_CB(from)->end_seq); - 145 : 338951 : MPTCP_SKB_CB(to)->end_seq = MPTCP_SKB_CB(from)->end_seq; + 145 : 280620 : MPTCP_SKB_CB(to)->end_seq = MPTCP_SKB_CB(from)->end_seq; 146 : : 147 : : /* note the fwd memory can reach a negative value after accounting 148 : : * for the delta, but the later skb free will restore a non 149 : : * negative one 150 : : */ - 151 : 338951 : atomic_add(delta, &sk->sk_rmem_alloc); - 152 : 338951 : mptcp_rmem_charge(sk, delta); - 153 [ - + ]: 338951 : kfree_skb_partial(from, fragstolen); + 151 : 280620 : atomic_add(delta, &sk->sk_rmem_alloc); + 152 : 280620 : mptcp_rmem_charge(sk, delta); + 153 [ - + ]: 280620 : kfree_skb_partial(from, fragstolen); 154 : : - 155 : 338951 : return true; + 155 : 280620 : return true; 156 : : } 157 : : - 158 : 16850 : static bool mptcp_ooo_try_coalesce(struct mptcp_sock *msk, struct sk_buff *to, + 158 : 9706 : static bool mptcp_ooo_try_coalesce(struct mptcp_sock *msk, struct sk_buff *to, 159 : : struct sk_buff *from) 160 : : { - 161 [ + + ]: 52680 : if (MPTCP_SKB_CB(from)->map_seq != MPTCP_SKB_CB(to)->end_seq) + 161 [ + + ]: 44844 : if (MPTCP_SKB_CB(from)->map_seq != MPTCP_SKB_CB(to)->end_seq) 162 : : return false; 163 : : - 164 : 129498 : return mptcp_try_coalesce((struct sock *)msk, to, from); + 164 : 111968 : return mptcp_try_coalesce((struct sock *)msk, to, from); 165 : : } 166 : : - 167 : 273550 : static void __mptcp_rmem_reclaim(struct sock *sk, int amount) + 167 : 226340 : static void __mptcp_rmem_reclaim(struct sock *sk, int amount) 168 : : { - 169 : 273550 : amount >>= PAGE_SHIFT; - 170 : 273550 : mptcp_rmem_charge(sk, amount << PAGE_SHIFT); - 171 : 273550 : __sk_mem_reduce_allocated(sk, amount); - 172 : 273550 : } + 169 : 226340 : amount >>= PAGE_SHIFT; + 170 : 226340 : mptcp_rmem_charge(sk, amount << PAGE_SHIFT); + 171 : 226340 : __sk_mem_reduce_allocated(sk, amount); + 172 : 226340 : } 173 : : - 174 : 305998 : static void mptcp_rmem_uncharge(struct sock *sk, int size) + 174 : 255340 : static void mptcp_rmem_uncharge(struct sock *sk, int size) 175 : : { - 176 [ - + ]: 305998 : struct mptcp_sock *msk = mptcp_sk(sk); - 177 : 305998 : int reclaimable; + 176 [ - + ]: 255340 : struct mptcp_sock *msk = mptcp_sk(sk); + 177 : 255340 : int reclaimable; 178 : : - 179 : 305998 : mptcp_rmem_fwd_alloc_add(sk, size); - 180 [ - + ]: 305998 : reclaimable = msk->rmem_fwd_alloc - sk_unused_reserved_mem(sk); + 179 : 255340 : mptcp_rmem_fwd_alloc_add(sk, size); + 180 [ - + ]: 255340 : reclaimable = msk->rmem_fwd_alloc - sk_unused_reserved_mem(sk); 181 : : 182 : : /* see sk_mem_uncharge() for the rationale behind the following schema */ - 183 [ + + ]: 305998 : if (unlikely(reclaimable >= PAGE_SIZE)) - 184 : 273550 : __mptcp_rmem_reclaim(sk, reclaimable); - 185 : 305998 : } + 183 [ + + ]: 255340 : if (unlikely(reclaimable >= PAGE_SIZE)) + 184 : 226340 : __mptcp_rmem_reclaim(sk, reclaimable); + 185 : 255340 : } 186 : : - 187 : 24927 : static void mptcp_rfree(struct sk_buff *skb) + 187 : 22174 : static void mptcp_rfree(struct sk_buff *skb) 188 : : { - 189 : 24927 : unsigned int len = skb->truesize; - 190 : 24927 : struct sock *sk = skb->sk; + 189 : 22174 : unsigned int len = skb->truesize; + 190 : 22174 : struct sock *sk = skb->sk; 191 : : - 192 : 24927 : atomic_sub(len, &sk->sk_rmem_alloc); - 193 : 24927 : mptcp_rmem_uncharge(sk, len); - 194 : 24927 : } + 192 : 22174 : atomic_sub(len, &sk->sk_rmem_alloc); + 193 : 22174 : mptcp_rmem_uncharge(sk, len); + 194 : 22174 : } 195 : : - 196 : 326140 : void mptcp_set_owner_r(struct sk_buff *skb, struct sock *sk) + 196 : 268269 : void mptcp_set_owner_r(struct sk_buff *skb, struct sock *sk) 197 : : { - 198 : 326140 : skb_orphan(skb); - 199 : 326140 : skb->sk = sk; - 200 : 326140 : skb->destructor = mptcp_rfree; - 201 : 326140 : atomic_add(skb->truesize, &sk->sk_rmem_alloc); - 202 : 326140 : mptcp_rmem_charge(sk, skb->truesize); - 203 : 326140 : } + 198 : 268269 : skb_orphan(skb); + 199 : 268269 : skb->sk = sk; + 200 : 268269 : skb->destructor = mptcp_rfree; + 201 : 268269 : atomic_add(skb->truesize, &sk->sk_rmem_alloc); + 202 : 268269 : mptcp_rmem_charge(sk, skb->truesize); + 203 : 268269 : } 204 : : 205 : : /* "inspired" by tcp_data_queue_ofo(), main differences: 206 : : * - use mptcp seqs 207 : : * - don't cope with sacks 208 : : */ - 209 : 108517 : static void mptcp_data_queue_ofo(struct mptcp_sock *msk, struct sk_buff *skb) + 209 : 105467 : static void mptcp_data_queue_ofo(struct mptcp_sock *msk, struct sk_buff *skb) 210 : : { - 211 : 108517 : struct sock *sk = (struct sock *)msk; - 212 : 108517 : struct rb_node **p, *parent; - 213 : 108517 : u64 seq, end_seq, max_seq; - 214 : 108517 : struct sk_buff *skb1; + 211 : 105467 : struct sock *sk = (struct sock *)msk; + 212 : 105467 : struct rb_node **p, *parent; + 213 : 105467 : u64 seq, end_seq, max_seq; + 214 : 105467 : struct sk_buff *skb1; 215 : : - 216 : 108517 : seq = MPTCP_SKB_CB(skb)->map_seq; - 217 : 108517 : end_seq = MPTCP_SKB_CB(skb)->end_seq; - 218 [ - + ]: 108517 : max_seq = atomic64_read(&msk->rcv_wnd_sent); + 216 : 105467 : seq = MPTCP_SKB_CB(skb)->map_seq; + 217 : 105467 : end_seq = MPTCP_SKB_CB(skb)->end_seq; + 218 [ - + ]: 105467 : max_seq = atomic64_read(&msk->rcv_wnd_sent); 219 : : - 220 [ - + ]: 108517 : pr_debug("msk=%p seq=%llx limit=%llx empty=%d\n", msk, seq, max_seq, + 220 [ - + ]: 105467 : pr_debug("msk=%p seq=%llx limit=%llx empty=%d\n", msk, seq, max_seq, 221 : : RB_EMPTY_ROOT(&msk->out_of_order_queue)); - 222 [ - + ]: 108517 : if (after64(end_seq, max_seq)) { + 222 [ - + ]: 105467 : if (after64(end_seq, max_seq)) { 223 : : /* out of window */ 224 : 0 : mptcp_drop(sk, skb); 225 [ # # ]: 0 : pr_debug("oow by %lld, rcv_wnd_sent %llu\n", @@ -307,49 +307,49 @@ 229 : 0 : return; 230 : : } 231 : : - 232 : 108517 : p = &msk->out_of_order_queue.rb_node; - 233 [ + - ]: 108517 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_OFOQUEUE); - 234 [ + + ]: 108517 : if (RB_EMPTY_ROOT(&msk->out_of_order_queue)) { - 235 : 11786 : rb_link_node(&skb->rbnode, NULL, p); - 236 : 11786 : rb_insert_color(&skb->rbnode, &msk->out_of_order_queue); - 237 : 11786 : msk->ooo_last_skb = skb; - 238 : 11786 : goto end; + 232 : 105467 : p = &msk->out_of_order_queue.rb_node; + 233 [ + - ]: 105467 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_OFOQUEUE); + 234 [ + + ]: 105467 : if (RB_EMPTY_ROOT(&msk->out_of_order_queue)) { + 235 : 10515 : rb_link_node(&skb->rbnode, NULL, p); + 236 : 10515 : rb_insert_color(&skb->rbnode, &msk->out_of_order_queue); + 237 : 10515 : msk->ooo_last_skb = skb; + 238 : 10515 : goto end; 239 : : } 240 : : 241 : : /* with 2 subflows, adding at end of ooo queue is quite likely 242 : : * Use of ooo_last_skb avoids the O(Log(N)) rbtree lookup. 243 : : */ - 244 [ + + + + ]: 160252 : if (mptcp_ooo_try_coalesce(msk, msk->ooo_last_skb, skb)) { - 245 [ + - ]: 45956 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_OFOMERGE); - 246 [ + - ]: 45956 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_OFOQUEUETAIL); - 247 : 45956 : return; + 244 [ + + + + ]: 158084 : if (mptcp_ooo_try_coalesce(msk, msk->ooo_last_skb, skb)) { + 245 [ + - ]: 49883 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_OFOMERGE); + 246 [ + - ]: 49883 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_OFOQUEUETAIL); + 247 : 49883 : return; 248 : : } 249 : : 250 : : /* Can avoid an rbtree lookup if we are adding skb after ooo_last_skb */ - 251 [ + + ]: 50775 : if (!before64(seq, MPTCP_SKB_CB(msk->ooo_last_skb)->end_seq)) { - 252 [ + - ]: 33932 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_OFOQUEUETAIL); - 253 : 33932 : parent = &msk->ooo_last_skb->rbnode; - 254 : 33932 : p = &parent->rb_right; - 255 : 33932 : goto insert; + 251 [ + + ]: 45069 : if (!before64(seq, MPTCP_SKB_CB(msk->ooo_last_skb)->end_seq)) { + 252 [ + - ]: 29819 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_OFOQUEUETAIL); + 253 : 29819 : parent = &msk->ooo_last_skb->rbnode; + 254 : 29819 : p = &parent->rb_right; + 255 : 29819 : goto insert; 256 : : } 257 : : 258 : : /* Find place to insert this segment. Handle overlaps on the way. */ 259 : : parent = NULL; - 260 [ + + ]: 94107 : while (*p) { - 261 : 86905 : parent = *p; - 262 : 86905 : skb1 = rb_to_skb(parent); - 263 [ + + ]: 86905 : if (before64(seq, MPTCP_SKB_CB(skb1)->map_seq)) { - 264 : 26978 : p = &parent->rb_left; - 265 : 26978 : continue; + 260 [ + + ]: 75370 : while (*p) { + 261 : 70731 : parent = *p; + 262 : 70731 : skb1 = rb_to_skb(parent); + 263 [ + + ]: 70731 : if (before64(seq, MPTCP_SKB_CB(skb1)->map_seq)) { + 264 : 19589 : p = &parent->rb_left; + 265 : 19589 : continue; 266 : : } - 267 [ + + ]: 59927 : if (before64(seq, MPTCP_SKB_CB(skb1)->end_seq)) { - 268 [ + + ]: 575 : if (!after64(end_seq, MPTCP_SKB_CB(skb1)->end_seq)) { + 267 [ + + ]: 51142 : if (before64(seq, MPTCP_SKB_CB(skb1)->end_seq)) { + 268 [ + + ]: 425 : if (!after64(end_seq, MPTCP_SKB_CB(skb1)->end_seq)) { 269 : : /* All the bits are present. Drop. */ - 270 : 241 : mptcp_drop(sk, skb); - 271 [ + - ]: 241 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_DUPDATA); - 272 : 241 : return; + 270 : 191 : mptcp_drop(sk, skb); + 271 [ + - ]: 191 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_DUPDATA); + 272 : 191 : return; 273 : : } - 274 [ + + ]: 334 : if (after64(seq, MPTCP_SKB_CB(skb1)->map_seq)) { + 274 [ + + ]: 234 : if (after64(seq, MPTCP_SKB_CB(skb1)->map_seq)) { 275 : : /* partial overlap: 276 : : * | skb | 277 : : * | skb1 | @@ -359,302 +359,302 @@ 281 : : /* skb's seq == skb1's seq and skb covers skb1. 282 : : * Replace skb1 with skb. 283 : : */ - 284 : 15 : rb_replace_node(&skb1->rbnode, &skb->rbnode, + 284 : 12 : rb_replace_node(&skb1->rbnode, &skb->rbnode, 285 : : &msk->out_of_order_queue); - 286 : 15 : mptcp_drop(sk, skb1); - 287 [ + - ]: 15 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_DUPDATA); - 288 : 15 : goto merge_right; + 286 : 12 : mptcp_drop(sk, skb1); + 287 [ + - ]: 12 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_DUPDATA); + 288 : 12 : goto merge_right; 289 : : } - 290 [ + + + + ]: 73502 : } else if (mptcp_ooo_try_coalesce(msk, skb1, skb)) { - 291 [ + - ]: 9385 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_OFOMERGE); - 292 : 9385 : return; + 290 [ + + + + ]: 63994 : } else if (mptcp_ooo_try_coalesce(msk, skb1, skb)) { + 291 [ + - ]: 10408 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_OFOMERGE); + 292 : 10408 : return; 293 : : } - 294 : 50286 : p = &parent->rb_right; + 294 : 40531 : p = &parent->rb_right; 295 : : } 296 : : - 297 : 7202 : insert: + 297 : 4639 : insert: 298 : : /* Insert segment into RB tree. */ - 299 : 41134 : rb_link_node(&skb->rbnode, parent, p); - 300 : 41134 : rb_insert_color(&skb->rbnode, &msk->out_of_order_queue); + 299 : 34458 : rb_link_node(&skb->rbnode, parent, p); + 300 : 34458 : rb_insert_color(&skb->rbnode, &msk->out_of_order_queue); 301 : : 302 : : merge_right: 303 : : /* Remove other segments covered by skb. */ - 304 [ + + ]: 41301 : while ((skb1 = skb_rb_next(skb)) != NULL) { - 305 [ + + ]: 7369 : if (before64(end_seq, MPTCP_SKB_CB(skb1)->end_seq)) + 304 [ + + ]: 34539 : while ((skb1 = skb_rb_next(skb)) != NULL) { + 305 [ + + ]: 4718 : if (before64(end_seq, MPTCP_SKB_CB(skb1)->end_seq)) 306 : : break; - 307 : 152 : rb_erase(&skb1->rbnode, &msk->out_of_order_queue); - 308 : 152 : mptcp_drop(sk, skb1); - 309 [ + - ]: 4894 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_DUPDATA); + 307 : 69 : rb_erase(&skb1->rbnode, &msk->out_of_order_queue); + 308 : 69 : mptcp_drop(sk, skb1); + 309 [ + - ]: 5597 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_DUPDATA); 310 : : } 311 : : /* If there is no skb after us, we are the last_skb ! */ - 312 [ + + ]: 41149 : if (!skb1) - 313 : 33932 : msk->ooo_last_skb = skb; + 312 [ + + ]: 34470 : if (!skb1) + 313 : 29821 : msk->ooo_last_skb = skb; 314 : : - 315 : 7217 : end: - 316 : 52935 : skb_condense(skb); - 317 : 52935 : mptcp_set_owner_r(skb, sk); + 315 : 4649 : end: + 316 : 44985 : skb_condense(skb); + 317 : 44985 : mptcp_set_owner_r(skb, sk); 318 : : } 319 : : - 320 : 640944 : static bool mptcp_rmem_schedule(struct sock *sk, struct sock *ssk, int size) + 320 : 527332 : static bool mptcp_rmem_schedule(struct sock *sk, struct sock *ssk, int size) 321 : : { - 322 [ - + ]: 640944 : struct mptcp_sock *msk = mptcp_sk(sk); - 323 : 640944 : int amt, amount; + 322 [ - + ]: 527332 : struct mptcp_sock *msk = mptcp_sk(sk); + 323 : 527332 : int amt, amount; 324 : : - 325 [ + + ]: 640944 : if (size <= msk->rmem_fwd_alloc) + 325 [ + + ]: 527332 : if (size <= msk->rmem_fwd_alloc) 326 : : return true; 327 : : - 328 : 464798 : size -= msk->rmem_fwd_alloc; - 329 : 464798 : amt = sk_mem_pages(size); - 330 : 464798 : amount = amt << PAGE_SHIFT; - 331 [ + - ]: 464798 : if (!__sk_mem_raise_allocated(sk, size, amt, SK_MEM_RECV)) + 328 : 380851 : size -= msk->rmem_fwd_alloc; + 329 : 380851 : amt = sk_mem_pages(size); + 330 : 380851 : amount = amt << PAGE_SHIFT; + 331 [ + - ]: 380851 : if (!__sk_mem_raise_allocated(sk, size, amt, SK_MEM_RECV)) 332 : : return false; 333 : : - 334 : 464798 : mptcp_rmem_fwd_alloc_add(sk, amount); - 335 : 464798 : return true; + 334 : 380851 : mptcp_rmem_fwd_alloc_add(sk, amount); + 335 : 380851 : return true; 336 : : } 337 : : - 338 : 640944 : static bool __mptcp_move_skb(struct mptcp_sock *msk, struct sock *ssk, + 338 : 527332 : static bool __mptcp_move_skb(struct mptcp_sock *msk, struct sock *ssk, 339 : : struct sk_buff *skb, unsigned int offset, 340 : : size_t copy_len) 341 : : { - 342 : 640944 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); - 343 : 640944 : struct sock *sk = (struct sock *)msk; - 344 : 640944 : struct sk_buff *tail; - 345 : 640944 : bool has_rxtstamp; + 342 : 527332 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); + 343 : 527332 : struct sock *sk = (struct sock *)msk; + 344 : 527332 : struct sk_buff *tail; + 345 : 527332 : bool has_rxtstamp; 346 : : - 347 : 640944 : __skb_unlink(skb, &ssk->sk_receive_queue); + 347 : 527332 : __skb_unlink(skb, &ssk->sk_receive_queue); 348 : : - 349 : 640944 : skb_ext_reset(skb); - 350 : 640944 : skb_orphan(skb); + 349 : 527332 : skb_ext_reset(skb); + 350 : 527332 : skb_orphan(skb); 351 : : 352 : : /* try to fetch required memory from subflow */ - 353 [ - + ]: 640944 : if (!mptcp_rmem_schedule(sk, ssk, skb->truesize)) { + 353 [ - + ]: 527332 : if (!mptcp_rmem_schedule(sk, ssk, skb->truesize)) { 354 [ # # ]: 0 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_RCVPRUNED); 355 : 0 : goto drop; 356 : : } 357 : : - 358 : 640944 : has_rxtstamp = TCP_SKB_CB(skb)->has_rxtstamp; + 358 : 527332 : has_rxtstamp = TCP_SKB_CB(skb)->has_rxtstamp; 359 : : 360 : : /* the skb map_seq accounts for the skb offset: 361 : : * mptcp_subflow_get_mapped_dsn() is based on the current tp->copied_seq 362 : : * value 363 : : */ - 364 : 640944 : MPTCP_SKB_CB(skb)->map_seq = mptcp_subflow_get_mapped_dsn(subflow); - 365 : 640944 : MPTCP_SKB_CB(skb)->end_seq = MPTCP_SKB_CB(skb)->map_seq + copy_len; - 366 : 640944 : MPTCP_SKB_CB(skb)->offset = offset; - 367 : 640944 : MPTCP_SKB_CB(skb)->has_rxtstamp = has_rxtstamp; + 364 : 527332 : MPTCP_SKB_CB(skb)->map_seq = mptcp_subflow_get_mapped_dsn(subflow); + 365 : 527332 : MPTCP_SKB_CB(skb)->end_seq = MPTCP_SKB_CB(skb)->map_seq + copy_len; + 366 : 527332 : MPTCP_SKB_CB(skb)->offset = offset; + 367 : 527332 : MPTCP_SKB_CB(skb)->has_rxtstamp = has_rxtstamp; 368 : : - 369 [ + + ]: 640944 : if (MPTCP_SKB_CB(skb)->map_seq == msk->ack_seq) { + 369 [ + + ]: 527332 : if (MPTCP_SKB_CB(skb)->map_seq == msk->ack_seq) { 370 : : /* in sequence */ - 371 : 532425 : msk->bytes_received += copy_len; - 372 : 532425 : WRITE_ONCE(msk->ack_seq, msk->ack_seq + copy_len); - 373 [ + + ]: 532425 : tail = skb_peek_tail(&sk->sk_receive_queue); - 374 [ + - + + ]: 318941 : if (tail && mptcp_try_coalesce(sk, tail, skb)) + 371 : 421864 : msk->bytes_received += copy_len; + 372 : 421864 : WRITE_ONCE(msk->ack_seq, msk->ack_seq + copy_len); + 373 [ + + ]: 421864 : tail = skb_peek_tail(&sk->sk_receive_queue); + 374 [ + - + + ]: 237738 : if (tail && mptcp_try_coalesce(sk, tail, skb)) 375 : : return true; 376 : : - 377 : 273167 : mptcp_set_owner_r(skb, sk); - 378 : 273167 : __skb_queue_tail(&sk->sk_receive_queue, skb); - 379 : 273167 : return true; - 380 [ + + ]: 108519 : } else if (after64(MPTCP_SKB_CB(skb)->map_seq, msk->ack_seq)) { - 381 : 108517 : mptcp_data_queue_ofo(msk, skb); - 382 : 108517 : return false; + 377 : 223246 : mptcp_set_owner_r(skb, sk); + 378 : 223246 : __skb_queue_tail(&sk->sk_receive_queue, skb); + 379 : 223246 : return true; + 380 [ + + ]: 105468 : } else if (after64(MPTCP_SKB_CB(skb)->map_seq, msk->ack_seq)) { + 381 : 105467 : mptcp_data_queue_ofo(msk, skb); + 382 : 105467 : return false; 383 : : } 384 : : 385 : : /* old data, keep it simple and drop the whole pkt, sender 386 : : * will retransmit as needed, if needed. 387 : : */ - 388 [ + - ]: 2 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_DUPDATA); - 389 : 2 : drop: - 390 : 2 : mptcp_drop(sk, skb); - 391 : 2 : return false; + 388 [ # # ]: 1 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_DUPDATA); + 389 : 1 : drop: + 390 : 1 : mptcp_drop(sk, skb); + 391 : 1 : return false; 392 : : } 393 : : - 394 : 33620 : static void mptcp_stop_rtx_timer(struct sock *sk) + 394 : 25003 : static void mptcp_stop_rtx_timer(struct sock *sk) 395 : : { - 396 : 33620 : struct inet_connection_sock *icsk = inet_csk(sk); + 396 : 25003 : struct inet_connection_sock *icsk = inet_csk(sk); 397 : : - 398 : 33620 : sk_stop_timer(sk, &icsk->icsk_retransmit_timer); - 399 [ - + ]: 33620 : mptcp_sk(sk)->timer_ival = 0; - 400 : 33620 : } + 398 : 25003 : sk_stop_timer(sk, &icsk->icsk_retransmit_timer); + 399 [ - + ]: 25003 : mptcp_sk(sk)->timer_ival = 0; + 400 : 25003 : } 401 : : - 402 : 4335 : static void mptcp_close_wake_up(struct sock *sk) + 402 : 4344 : static void mptcp_close_wake_up(struct sock *sk) 403 : : { - 404 [ + + ]: 4335 : if (sock_flag(sk, SOCK_DEAD)) + 404 [ + + ]: 4344 : if (sock_flag(sk, SOCK_DEAD)) 405 : : return; 406 : : - 407 : 3038 : sk->sk_state_change(sk); - 408 [ + + ]: 3038 : if (sk->sk_shutdown == SHUTDOWN_MASK || - 409 [ + + ]: 1511 : sk->sk_state == TCP_CLOSE) - 410 : 1579 : sk_wake_async(sk, SOCK_WAKE_WAITD, POLL_HUP); + 407 : 3033 : sk->sk_state_change(sk); + 408 [ + + ]: 3033 : if (sk->sk_shutdown == SHUTDOWN_MASK || + 409 [ + + ]: 1495 : sk->sk_state == TCP_CLOSE) + 410 : 1590 : sk_wake_async(sk, SOCK_WAKE_WAITD, POLL_HUP); 411 : : else - 412 : 1459 : sk_wake_async(sk, SOCK_WAKE_WAITD, POLL_IN); + 412 : 1443 : sk_wake_async(sk, SOCK_WAKE_WAITD, POLL_IN); 413 : : } 414 : : 415 : : /* called under the msk socket lock */ - 416 : 300472 : static bool mptcp_pending_data_fin_ack(struct sock *sk) + 416 : 238352 : static bool mptcp_pending_data_fin_ack(struct sock *sk) 417 : : { - 418 [ - + ]: 300472 : struct mptcp_sock *msk = mptcp_sk(sk); + 418 [ - + ]: 238352 : struct mptcp_sock *msk = mptcp_sk(sk); 419 : : - 420 : 122683 : return ((1 << sk->sk_state) & - 421 [ + + + + ]: 300472 : (TCPF_FIN_WAIT1 | TCPF_CLOSING | TCPF_LAST_ACK)) && - 422 [ + + ]: 39136 : msk->write_seq == READ_ONCE(msk->snd_una); + 420 : 108071 : return ((1 << sk->sk_state) & + 421 [ + + + + ]: 238352 : (TCPF_FIN_WAIT1 | TCPF_CLOSING | TCPF_LAST_ACK)) && + 422 [ + + ]: 33079 : msk->write_seq == READ_ONCE(msk->snd_una); 423 : : } 424 : : - 425 : 14733 : static void mptcp_check_data_fin_ack(struct sock *sk) + 425 : 11225 : static void mptcp_check_data_fin_ack(struct sock *sk) 426 : : { - 427 [ - + ]: 14733 : struct mptcp_sock *msk = mptcp_sk(sk); + 427 [ - + ]: 11225 : struct mptcp_sock *msk = mptcp_sk(sk); 428 : : 429 : : /* Look for an acknowledged DATA_FIN */ - 430 [ + + ]: 14733 : if (mptcp_pending_data_fin_ack(sk)) { - 431 : 1780 : WRITE_ONCE(msk->snd_data_fin_enable, 0); + 430 [ + + ]: 11225 : if (mptcp_pending_data_fin_ack(sk)) { + 431 : 1765 : WRITE_ONCE(msk->snd_data_fin_enable, 0); 432 : : - 433 [ + + - ]: 1780 : switch (sk->sk_state) { - 434 : 962 : case TCP_FIN_WAIT1: - 435 : 962 : mptcp_set_state(sk, TCP_FIN_WAIT2); - 436 : 962 : break; - 437 : 818 : case TCP_CLOSING: + 433 [ + + - ]: 1765 : switch (sk->sk_state) { + 434 : 966 : case TCP_FIN_WAIT1: + 435 : 966 : mptcp_set_state(sk, TCP_FIN_WAIT2); + 436 : 966 : break; + 437 : 799 : case TCP_CLOSING: 438 : : case TCP_LAST_ACK: - 439 : 818 : mptcp_set_state(sk, TCP_CLOSE); - 440 : 818 : break; + 439 : 799 : mptcp_set_state(sk, TCP_CLOSE); + 440 : 799 : break; 441 : : } 442 : : - 443 : 1780 : mptcp_close_wake_up(sk); + 443 : 1765 : mptcp_close_wake_up(sk); 444 : : } - 445 : 14733 : } + 445 : 11225 : } 446 : : 447 : : /* can be called with no lock acquired */ - 448 : 651741 : static bool mptcp_pending_data_fin(struct sock *sk, u64 *seq) + 448 : 535814 : static bool mptcp_pending_data_fin(struct sock *sk, u64 *seq) 449 : : { - 450 [ - + ]: 651741 : struct mptcp_sock *msk = mptcp_sk(sk); + 450 [ - + ]: 535814 : struct mptcp_sock *msk = mptcp_sk(sk); 451 : : - 452 [ + + + + : 676140 : if (READ_ONCE(msk->rcv_data_fin) && - + + + + ] - 453 [ + + ]: 174 : ((1 << inet_sk_state_load(sk)) & + 452 [ + + + + : 555914 : if (READ_ONCE(msk->rcv_data_fin) && + + + + + ] + 453 [ + + ]: 172 : ((1 << inet_sk_state_load(sk)) & 454 : : (TCPF_ESTABLISHED | TCPF_FIN_WAIT1 | TCPF_FIN_WAIT2))) { - 455 : 23888 : u64 rcv_data_fin_seq = READ_ONCE(msk->rcv_data_fin_seq); + 455 : 19536 : u64 rcv_data_fin_seq = READ_ONCE(msk->rcv_data_fin_seq); 456 : : - 457 [ + + ]: 23888 : if (READ_ONCE(msk->ack_seq) == rcv_data_fin_seq) { - 458 [ + + ]: 2030 : if (seq) - 459 : 1742 : *seq = rcv_data_fin_seq; + 457 [ + + ]: 19536 : if (READ_ONCE(msk->ack_seq) == rcv_data_fin_seq) { + 458 [ + + ]: 2045 : if (seq) + 459 : 1730 : *seq = rcv_data_fin_seq; 460 : : - 461 : 2030 : return true; + 461 : 2045 : return true; 462 : : } 463 : : } 464 : : 465 : : return false; 466 : : } 467 : : - 468 : 1072 : static void mptcp_set_datafin_timeout(struct sock *sk) + 468 : 1083 : static void mptcp_set_datafin_timeout(struct sock *sk) 469 : : { - 470 : 1072 : struct inet_connection_sock *icsk = inet_csk(sk); - 471 : 1072 : u32 retransmits; + 470 : 1083 : struct inet_connection_sock *icsk = inet_csk(sk); + 471 : 1083 : u32 retransmits; 472 : : - 473 : 1072 : retransmits = min_t(u32, icsk->icsk_retransmits, + 473 : 1083 : retransmits = min_t(u32, icsk->icsk_retransmits, 474 : : ilog2(TCP_RTO_MAX / TCP_RTO_MIN)); 475 : : - 476 [ - + ]: 1072 : mptcp_sk(sk)->timer_ival = TCP_RTO_MIN << retransmits; - 477 : 1072 : } + 476 [ - + ]: 1083 : mptcp_sk(sk)->timer_ival = TCP_RTO_MIN << retransmits; + 477 : 1083 : } 478 : : - 479 : 842374 : static void __mptcp_set_timeout(struct sock *sk, long tout) + 479 : 715633 : static void __mptcp_set_timeout(struct sock *sk, long tout) 480 : : { - 481 [ + + - + ]: 1442436 : mptcp_sk(sk)->timer_ival = tout > 0 ? tout : TCP_RTO_MIN; - 482 : 842374 : } + 481 [ + + - + ]: 1264164 : mptcp_sk(sk)->timer_ival = tout > 0 ? tout : TCP_RTO_MIN; + 482 : 715633 : } 483 : : - 484 : 296714 : static long mptcp_timeout_from_subflow(const struct mptcp_subflow_context *subflow) + 484 : 318534 : static long mptcp_timeout_from_subflow(const struct mptcp_subflow_context *subflow) 485 : : { - 486 : 1440534 : const struct sock *ssk = mptcp_subflow_tcp_sock(subflow); + 486 : 1271769 : const struct sock *ssk = mptcp_subflow_tcp_sock(subflow); 487 : : - 488 [ + + + + ]: 1179039 : return inet_csk(ssk)->icsk_pending && !subflow->stale_count ? - 489 [ + + + + ]: 2456894 : inet_csk(ssk)->icsk_timeout - jiffies : 0; + 488 [ + + + + ]: 1084172 : return inet_csk(ssk)->icsk_pending && !subflow->stale_count ? + 489 [ + + + + ]: 2214072 : inet_csk(ssk)->icsk_timeout - jiffies : 0; 490 : : } 491 : : - 492 : 353130 : void mptcp_set_timeout(struct sock *sk) + 492 : 305258 : void mptcp_set_timeout(struct sock *sk) 493 : : { - 494 : 353130 : struct mptcp_subflow_context *subflow; - 495 : 353130 : long tout = 0; + 494 : 305258 : struct mptcp_subflow_context *subflow; + 495 : 305258 : long tout = 0; 496 : : - 497 [ - + - + : 974565 : mptcp_for_each_subflow(mptcp_sk(sk), subflow) - + + ] - 498 [ + + ]: 1144493 : tout = max(tout, mptcp_timeout_from_subflow(subflow)); - 499 : 353130 : __mptcp_set_timeout(sk, tout); - 500 : 353130 : } + 497 [ - + - + : 866857 : mptcp_for_each_subflow(mptcp_sk(sk), subflow) + + + ] + 498 [ + + ]: 1052975 : tout = max(tout, mptcp_timeout_from_subflow(subflow)); + 499 : 305258 : __mptcp_set_timeout(sk, tout); + 500 : 305258 : } 501 : : - 502 : 140040 : static inline bool tcp_can_send_ack(const struct sock *ssk) + 502 : 137355 : static inline bool tcp_can_send_ack(const struct sock *ssk) 503 : : { - 504 [ - + ]: 314232 : return !((1 << inet_sk_state_load(ssk)) & + 504 [ - + ]: 273458 : return !((1 << inet_sk_state_load(ssk)) & 505 : : (TCPF_SYN_SENT | TCPF_SYN_RECV | TCPF_TIME_WAIT | TCPF_CLOSE | TCPF_LISTEN)); 506 : : } 507 : : - 508 : 4571 : void __mptcp_subflow_send_ack(struct sock *ssk) + 508 : 4568 : void __mptcp_subflow_send_ack(struct sock *ssk) 509 : : { - 510 [ + + ]: 4571 : if (tcp_can_send_ack(ssk)) - 511 : 4496 : tcp_send_ack(ssk); - 512 : 4571 : } + 510 [ + + ]: 4568 : if (tcp_can_send_ack(ssk)) + 511 : 4491 : tcp_send_ack(ssk); + 512 : 4568 : } 513 : : - 514 : 3685 : static void mptcp_subflow_send_ack(struct sock *ssk) + 514 : 3681 : static void mptcp_subflow_send_ack(struct sock *ssk) 515 : : { - 516 : 3685 : bool slow; + 516 : 3681 : bool slow; 517 : : - 518 : 3685 : slow = lock_sock_fast(ssk); - 519 : 3685 : __mptcp_subflow_send_ack(ssk); - 520 : 3685 : unlock_sock_fast(ssk, slow); - 521 : 3685 : } + 518 : 3681 : slow = lock_sock_fast(ssk); + 519 : 3681 : __mptcp_subflow_send_ack(ssk); + 520 : 3681 : unlock_sock_fast(ssk, slow); + 521 : 3681 : } 522 : : - 523 : 2750 : static void mptcp_send_ack(struct mptcp_sock *msk) + 523 : 2751 : static void mptcp_send_ack(struct mptcp_sock *msk) 524 : : { - 525 : 2750 : struct mptcp_subflow_context *subflow; + 525 : 2751 : struct mptcp_subflow_context *subflow; 526 : : - 527 [ + + ]: 6435 : mptcp_for_each_subflow(msk, subflow) - 528 : 3685 : mptcp_subflow_send_ack(mptcp_subflow_tcp_sock(subflow)); - 529 : 2750 : } + 527 [ + + ]: 6432 : mptcp_for_each_subflow(msk, subflow) + 528 : 3681 : mptcp_subflow_send_ack(mptcp_subflow_tcp_sock(subflow)); + 529 : 2751 : } 530 : : - 531 : 211453 : static void mptcp_subflow_cleanup_rbuf(struct sock *ssk) + 531 : 189718 : static void mptcp_subflow_cleanup_rbuf(struct sock *ssk) 532 : : { - 533 : 211453 : bool slow; + 533 : 189718 : bool slow; 534 : : - 535 : 211453 : slow = lock_sock_fast(ssk); - 536 [ + + ]: 211453 : if (tcp_can_send_ack(ssk)) - 537 : 207266 : tcp_cleanup_rbuf(ssk, 1); - 538 : 211453 : unlock_sock_fast(ssk, slow); - 539 : 211453 : } + 535 : 189718 : slow = lock_sock_fast(ssk); + 536 [ + + ]: 189718 : if (tcp_can_send_ack(ssk)) + 537 : 186290 : tcp_cleanup_rbuf(ssk, 1); + 538 : 189718 : unlock_sock_fast(ssk, slow); + 539 : 189718 : } 540 : : - 541 : 1678978 : static bool mptcp_subflow_could_cleanup(const struct sock *ssk, bool rx_empty) + 541 : 1456687 : static bool mptcp_subflow_could_cleanup(const struct sock *ssk, bool rx_empty) 542 : : { - 543 : 1678978 : const struct inet_connection_sock *icsk = inet_csk(ssk); - 544 : 1678978 : u8 ack_pending = READ_ONCE(icsk->icsk_ack.pending); - 545 [ - + ]: 1678978 : const struct tcp_sock *tp = tcp_sk(ssk); + 543 : 1456687 : const struct inet_connection_sock *icsk = inet_csk(ssk); + 544 : 1456687 : u8 ack_pending = READ_ONCE(icsk->icsk_ack.pending); + 545 [ - + ]: 1456687 : const struct tcp_sock *tp = tcp_sk(ssk); 546 : : - 547 [ + + ]: 1678978 : return (ack_pending & ICSK_ACK_SCHED) && - 548 : 570470 : ((READ_ONCE(tp->rcv_nxt) - READ_ONCE(tp->rcv_wup) > - 549 [ + + + + ]: 570470 : READ_ONCE(icsk->icsk_ack.rcv_mss)) || - 550 [ + + ]: 77462 : (rx_empty && ack_pending & + 547 [ + + ]: 1456687 : return (ack_pending & ICSK_ACK_SCHED) && + 548 : 555766 : ((READ_ONCE(tp->rcv_nxt) - READ_ONCE(tp->rcv_wup) > + 549 [ + + + + ]: 555766 : READ_ONCE(icsk->icsk_ack.rcv_mss)) || + 550 [ + + ]: 79770 : (rx_empty && ack_pending & 551 : : (ICSK_ACK_PUSHED2 | ICSK_ACK_PUSHED))); 552 : : } 553 : : - 554 : 962608 : static void mptcp_cleanup_rbuf(struct mptcp_sock *msk) + 554 : 812854 : static void mptcp_cleanup_rbuf(struct mptcp_sock *msk) 555 : : { - 556 : 962608 : int old_space = READ_ONCE(msk->old_wspace); - 557 : 962608 : struct mptcp_subflow_context *subflow; - 558 : 962608 : struct sock *sk = (struct sock *)msk; - 559 : 962608 : int space = __mptcp_space(sk); - 560 : 962608 : bool cleanup, rx_empty; + 556 : 812854 : int old_space = READ_ONCE(msk->old_wspace); + 557 : 812854 : struct mptcp_subflow_context *subflow; + 558 : 812854 : struct sock *sk = (struct sock *)msk; + 559 : 812854 : int space = __mptcp_space(sk); + 560 : 812854 : bool cleanup, rx_empty; 561 : : - 562 [ + + + + ]: 962608 : cleanup = (space > 0) && (space >= (old_space << 1)); - 563 : 962608 : rx_empty = !__mptcp_rmem(sk); + 562 [ + + + + ]: 812854 : cleanup = (space > 0) && (space >= (old_space << 1)); + 563 : 812854 : rx_empty = !__mptcp_rmem(sk); 564 : : - 565 [ + + ]: 2707677 : mptcp_for_each_subflow(msk, subflow) { - 566 [ + + ]: 1745069 : struct sock *ssk = mptcp_subflow_tcp_sock(subflow); + 565 [ + + ]: 2321571 : mptcp_for_each_subflow(msk, subflow) { + 566 [ + + ]: 1508717 : struct sock *ssk = mptcp_subflow_tcp_sock(subflow); 567 : : - 568 [ + + + + ]: 1745069 : if (cleanup || mptcp_subflow_could_cleanup(ssk, rx_empty)) - 569 : 211453 : mptcp_subflow_cleanup_rbuf(ssk); + 568 [ + + + + ]: 1508717 : if (cleanup || mptcp_subflow_could_cleanup(ssk, rx_empty)) + 569 : 189718 : mptcp_subflow_cleanup_rbuf(ssk); 570 : : } - 571 : 962608 : } + 571 : 812854 : } 572 : : - 573 : 14802 : static bool mptcp_check_data_fin(struct sock *sk) + 573 : 11249 : static bool mptcp_check_data_fin(struct sock *sk) 574 : : { - 575 [ - + ]: 14802 : struct mptcp_sock *msk = mptcp_sk(sk); - 576 : 14802 : u64 rcv_data_fin_seq; - 577 : 14802 : bool ret = false; + 575 [ - + ]: 11249 : struct mptcp_sock *msk = mptcp_sk(sk); + 576 : 11249 : u64 rcv_data_fin_seq; + 577 : 11249 : bool ret = false; 578 : : 579 : : /* Need to ack a DATA_FIN received from a peer while this side 580 : : * of the connection is in ESTABLISHED, FIN_WAIT1, or FIN_WAIT2. @@ -669,35 +669,35 @@ 589 : : * when catching up. 590 : : */ 591 : : - 592 [ + + ]: 14802 : if (mptcp_pending_data_fin(sk, &rcv_data_fin_seq)) { - 593 : 1742 : WRITE_ONCE(msk->ack_seq, msk->ack_seq + 1); - 594 : 1742 : WRITE_ONCE(msk->rcv_data_fin, 0); + 592 [ + + ]: 11249 : if (mptcp_pending_data_fin(sk, &rcv_data_fin_seq)) { + 593 : 1730 : WRITE_ONCE(msk->ack_seq, msk->ack_seq + 1); + 594 : 1730 : WRITE_ONCE(msk->rcv_data_fin, 0); 595 : : - 596 : 1742 : WRITE_ONCE(sk->sk_shutdown, sk->sk_shutdown | RCV_SHUTDOWN); - 597 : 1742 : smp_mb__before_atomic(); /* SHUTDOWN must be visible first */ + 596 : 1730 : WRITE_ONCE(sk->sk_shutdown, sk->sk_shutdown | RCV_SHUTDOWN); + 597 : 1730 : smp_mb__before_atomic(); /* SHUTDOWN must be visible first */ 598 : : - 599 [ + + + - ]: 1742 : switch (sk->sk_state) { + 599 [ + + + - ]: 1730 : switch (sk->sk_state) { 600 : : case TCP_ESTABLISHED: - 601 : 762 : mptcp_set_state(sk, TCP_CLOSE_WAIT); - 602 : 762 : break; - 603 : 200 : case TCP_FIN_WAIT1: - 604 : 200 : mptcp_set_state(sk, TCP_CLOSING); - 605 : 200 : break; - 606 : 780 : case TCP_FIN_WAIT2: - 607 : 780 : mptcp_set_state(sk, TCP_CLOSE); - 608 : 780 : break; + 601 : 755 : mptcp_set_state(sk, TCP_CLOSE_WAIT); + 602 : 755 : break; + 603 : 206 : case TCP_FIN_WAIT1: + 604 : 206 : mptcp_set_state(sk, TCP_CLOSING); + 605 : 206 : break; + 606 : 769 : case TCP_FIN_WAIT2: + 607 : 769 : mptcp_set_state(sk, TCP_CLOSE); + 608 : 769 : break; 609 : : default: 610 : : /* Other states not expected */ 611 : 0 : WARN_ON_ONCE(1); 612 : 0 : break; 613 : : } 614 : : - 615 : 1742 : ret = true; - 616 [ + + ]: 1742 : if (!__mptcp_check_fallback(msk)) - 617 : 1678 : mptcp_send_ack(msk); - 618 : 1742 : mptcp_close_wake_up(sk); + 615 : 1730 : ret = true; + 616 [ + + ]: 1730 : if (!__mptcp_check_fallback(msk)) + 617 : 1668 : mptcp_send_ack(msk); + 618 : 1730 : mptcp_close_wake_up(sk); 619 : : } - 620 : 14802 : return ret; + 620 : 11249 : return ret; 621 : : } 622 : : 623 : 0 : static void mptcp_dss_corruption(struct mptcp_sock *msk, struct sock *ssk) @@ -712,165 +712,165 @@ 632 : : } 633 : 0 : } 634 : : - 635 : 637455 : static bool __mptcp_move_skbs_from_subflow(struct mptcp_sock *msk, + 635 : 525220 : static bool __mptcp_move_skbs_from_subflow(struct mptcp_sock *msk, 636 : : struct sock *ssk, 637 : : unsigned int *bytes) 638 : : { - 639 [ + - ]: 637455 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); - 640 : 637455 : struct sock *sk = (struct sock *)msk; - 641 : 637455 : unsigned int moved = 0; - 642 : 637455 : bool more_data_avail; - 643 : 637455 : struct tcp_sock *tp; - 644 : 637455 : bool done = false; - 645 : 637455 : int sk_rbuf; + 639 [ + - ]: 525220 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); + 640 : 525220 : struct sock *sk = (struct sock *)msk; + 641 : 525220 : unsigned int moved = 0; + 642 : 525220 : bool more_data_avail; + 643 : 525220 : struct tcp_sock *tp; + 644 : 525220 : bool done = false; + 645 : 525220 : int sk_rbuf; 646 : : - 647 : 637455 : sk_rbuf = READ_ONCE(sk->sk_rcvbuf); + 647 : 525220 : sk_rbuf = READ_ONCE(sk->sk_rcvbuf); 648 : : - 649 [ + - ]: 637455 : if (!(sk->sk_userlocks & SOCK_RCVBUF_LOCK)) { - 650 : 637455 : int ssk_rbuf = READ_ONCE(ssk->sk_rcvbuf); + 649 [ + - ]: 525220 : if (!(sk->sk_userlocks & SOCK_RCVBUF_LOCK)) { + 650 : 525220 : int ssk_rbuf = READ_ONCE(ssk->sk_rcvbuf); 651 : : - 652 [ - + ]: 637455 : if (unlikely(ssk_rbuf > sk_rbuf)) { + 652 [ - + ]: 525220 : if (unlikely(ssk_rbuf > sk_rbuf)) { 653 : 0 : WRITE_ONCE(sk->sk_rcvbuf, ssk_rbuf); 654 : 0 : sk_rbuf = ssk_rbuf; 655 : : } 656 : : } 657 : : - 658 [ - + ]: 637455 : pr_debug("msk=%p ssk=%p\n", msk, ssk); - 659 [ - + ]: 637455 : tp = tcp_sk(ssk); - 660 : 641402 : do { - 661 : 641402 : u32 map_remaining, offset; - 662 : 641402 : u32 seq = tp->copied_seq; - 663 : 641402 : struct sk_buff *skb; - 664 : 641402 : bool fin; + 658 [ - + ]: 525220 : pr_debug("msk=%p ssk=%p\n", msk, ssk); + 659 [ - + ]: 525220 : tp = tcp_sk(ssk); + 660 : 527972 : do { + 661 : 527972 : u32 map_remaining, offset; + 662 : 527972 : u32 seq = tp->copied_seq; + 663 : 527972 : struct sk_buff *skb; + 664 : 527972 : bool fin; 665 : : 666 : : /* try to move as much data as available */ - 667 : 1282804 : map_remaining = subflow->map_data_len - - 668 : 641402 : mptcp_subflow_get_map_offset(subflow); + 667 : 1055944 : map_remaining = subflow->map_data_len - + 668 : 527972 : mptcp_subflow_get_map_offset(subflow); 669 : : - 670 [ + + ]: 641402 : skb = skb_peek(&ssk->sk_receive_queue); - 671 [ - + ]: 640964 : if (!skb) { + 670 [ + + ]: 527972 : skb = skb_peek(&ssk->sk_receive_queue); + 671 [ - + ]: 527346 : if (!skb) { 672 : : /* With racing move_skbs_to_msk() and __mptcp_move_skbs(), 673 : : * a different CPU can have already processed the pending 674 : : * data, stop here or we can enter an infinite loop 675 : : */ - 676 [ - + ]: 438 : if (!moved) + 676 [ - + ]: 626 : if (!moved) 677 : : done = true; 678 : : break; 679 : : } 680 : : - 681 [ + + ]: 640964 : if (__mptcp_check_fallback(msk)) { + 681 [ + + ]: 527346 : if (__mptcp_check_fallback(msk)) { 682 : : /* Under fallback skbs have no MPTCP extension and TCP could 683 : : * collapse them between the dummy map creation and the 684 : : * current dequeue. Be sure to adjust the map size. 685 : : */ - 686 : 6309 : map_remaining = skb->len; - 687 : 6309 : subflow->map_data_len = skb->len; + 686 : 3916 : map_remaining = skb->len; + 687 : 3916 : subflow->map_data_len = skb->len; 688 : : } 689 : : - 690 : 640964 : offset = seq - TCP_SKB_CB(skb)->seq; - 691 : 640964 : fin = TCP_SKB_CB(skb)->tcp_flags & TCPHDR_FIN; - 692 [ + + ]: 640964 : if (fin) { + 690 : 527346 : offset = seq - TCP_SKB_CB(skb)->seq; + 691 : 527346 : fin = TCP_SKB_CB(skb)->tcp_flags & TCPHDR_FIN; + 692 [ + + ]: 527346 : if (fin) { 693 : 64 : done = true; 694 : 64 : seq++; 695 : : } 696 : : - 697 [ + + ]: 640964 : if (offset < skb->len) { - 698 : 640944 : size_t len = skb->len - offset; + 697 [ + + ]: 527346 : if (offset < skb->len) { + 698 : 527332 : size_t len = skb->len - offset; 699 : : - 700 [ - + ]: 640944 : if (tp->urg_data) + 700 [ - + ]: 527332 : if (tp->urg_data) 701 : 0 : done = true; 702 : : - 703 [ + + ]: 640944 : if (__mptcp_move_skb(msk, ssk, skb, offset, len)) - 704 : 532425 : moved += len; - 705 : 640944 : seq += len; + 703 [ + + ]: 527332 : if (__mptcp_move_skb(msk, ssk, skb, offset, len)) + 704 : 421864 : moved += len; + 705 : 527332 : seq += len; 706 : : - 707 [ - + ]: 640944 : if (unlikely(map_remaining < len)) { + 707 [ - + ]: 527332 : if (unlikely(map_remaining < len)) { 708 : 0 : DEBUG_NET_WARN_ON_ONCE(1); 709 : 0 : mptcp_dss_corruption(msk, ssk); 710 : : } 711 : : } else { - 712 [ - + ]: 20 : if (unlikely(!fin)) { + 712 [ - + ]: 14 : if (unlikely(!fin)) { 713 : 0 : DEBUG_NET_WARN_ON_ONCE(1); 714 : 0 : mptcp_dss_corruption(msk, ssk); 715 : : } 716 : : - 717 : 20 : sk_eat_skb(ssk, skb); - 718 : 20 : done = true; + 717 : 14 : sk_eat_skb(ssk, skb); + 718 : 14 : done = true; 719 : : } 720 : : - 721 : 640964 : WRITE_ONCE(tp->copied_seq, seq); - 722 : 640964 : more_data_avail = mptcp_subflow_data_available(ssk); + 721 : 527346 : WRITE_ONCE(tp->copied_seq, seq); + 722 : 527346 : more_data_avail = mptcp_subflow_data_available(ssk); 723 : : - 724 [ + + ]: 640964 : if (atomic_read(&sk->sk_rmem_alloc) > sk_rbuf) { + 724 [ + + ]: 527346 : if (atomic_read(&sk->sk_rmem_alloc) > sk_rbuf) { 725 : : done = true; 726 : : break; 727 : : } - 728 [ + + ]: 593212 : } while (more_data_avail); + 728 [ + + ]: 512628 : } while (more_data_avail); 729 : : - 730 [ + + ]: 637017 : if (moved > 0) - 731 : 528879 : msk->last_data_recv = tcp_jiffies32; - 732 : 637455 : *bytes += moved; - 733 : 637455 : return done; + 730 [ + + ]: 524594 : if (moved > 0) + 731 : 419578 : msk->last_data_recv = tcp_jiffies32; + 732 : 525220 : *bytes += moved; + 733 : 525220 : return done; 734 : : } 735 : : - 736 : 904152 : static bool __mptcp_ofo_queue(struct mptcp_sock *msk) + 736 : 756604 : static bool __mptcp_ofo_queue(struct mptcp_sock *msk) 737 : : { - 738 : 904152 : struct sock *sk = (struct sock *)msk; - 739 : 904152 : struct sk_buff *skb, *tail; - 740 : 904152 : bool moved = false; - 741 : 904152 : struct rb_node *p; - 742 : 904152 : u64 end_seq; + 738 : 756604 : struct sock *sk = (struct sock *)msk; + 739 : 756604 : struct sk_buff *skb, *tail; + 740 : 756604 : bool moved = false; + 741 : 756604 : struct rb_node *p; + 742 : 756604 : u64 end_seq; 743 : : - 744 : 904152 : p = rb_first(&msk->out_of_order_queue); - 745 [ - + ]: 904152 : pr_debug("msk=%p empty=%d\n", msk, RB_EMPTY_ROOT(&msk->out_of_order_queue)); - 746 [ + + ]: 956920 : while (p) { - 747 : 332439 : skb = rb_to_skb(p); - 748 [ + + ]: 332439 : if (after64(MPTCP_SKB_CB(skb)->map_seq, msk->ack_seq)) + 744 : 756604 : p = rb_first(&msk->out_of_order_queue); + 745 [ - + ]: 756604 : pr_debug("msk=%p empty=%d\n", msk, RB_EMPTY_ROOT(&msk->out_of_order_queue)); + 746 [ + + ]: 801508 : while (p) { + 747 : 303774 : skb = rb_to_skb(p); + 748 [ + + ]: 303774 : if (after64(MPTCP_SKB_CB(skb)->map_seq, msk->ack_seq)) 749 : : break; 750 : : - 751 : 52768 : p = rb_next(p); - 752 : 52768 : rb_erase(&skb->rbnode, &msk->out_of_order_queue); + 751 : 44904 : p = rb_next(p); + 752 : 44904 : rb_erase(&skb->rbnode, &msk->out_of_order_queue); 753 : : - 754 [ + + ]: 52768 : if (unlikely(!after64(MPTCP_SKB_CB(skb)->end_seq, + 754 [ + + ]: 44904 : if (unlikely(!after64(MPTCP_SKB_CB(skb)->end_seq, 755 : : msk->ack_seq))) { - 756 : 88 : mptcp_drop(sk, skb); - 757 [ + - ]: 88 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_DUPDATA); - 758 : 88 : continue; + 756 : 60 : mptcp_drop(sk, skb); + 757 [ + - ]: 60 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_DUPDATA); + 758 : 60 : continue; 759 : : } 760 : : - 761 : 52680 : end_seq = MPTCP_SKB_CB(skb)->end_seq; - 762 [ + - ]: 52680 : tail = skb_peek_tail(&sk->sk_receive_queue); - 763 [ + - + + ]: 104507 : if (!tail || !mptcp_ooo_try_coalesce(msk, tail, skb)) { - 764 : 28328 : int delta = msk->ack_seq - MPTCP_SKB_CB(skb)->map_seq; + 761 : 44844 : end_seq = MPTCP_SKB_CB(skb)->end_seq; + 762 [ + - ]: 44844 : tail = skb_peek_tail(&sk->sk_receive_queue); + 763 [ + - + + ]: 89061 : if (!tail || !mptcp_ooo_try_coalesce(msk, tail, skb)) { + 764 : 23133 : int delta = msk->ack_seq - MPTCP_SKB_CB(skb)->map_seq; 765 : : 766 : : /* skip overlapping data, if any */ - 767 [ - + ]: 28328 : pr_debug("uncoalesced seq=%llx ack seq=%llx delta=%d\n", + 767 [ - + ]: 23133 : pr_debug("uncoalesced seq=%llx ack seq=%llx delta=%d\n", 768 : : MPTCP_SKB_CB(skb)->map_seq, msk->ack_seq, 769 : : delta); - 770 : 28328 : MPTCP_SKB_CB(skb)->offset += delta; - 771 : 28328 : MPTCP_SKB_CB(skb)->map_seq += delta; - 772 : 28328 : __skb_queue_tail(&sk->sk_receive_queue, skb); + 770 : 23133 : MPTCP_SKB_CB(skb)->offset += delta; + 771 : 23133 : MPTCP_SKB_CB(skb)->map_seq += delta; + 772 : 23133 : __skb_queue_tail(&sk->sk_receive_queue, skb); 773 : : } - 774 : 52680 : msk->bytes_received += end_seq - msk->ack_seq; - 775 : 52680 : WRITE_ONCE(msk->ack_seq, end_seq); - 776 : 52680 : moved = true; + 774 : 44844 : msk->bytes_received += end_seq - msk->ack_seq; + 775 : 44844 : WRITE_ONCE(msk->ack_seq, end_seq); + 776 : 44844 : moved = true; 777 : : } - 778 : 904152 : return moved; + 778 : 756604 : return moved; 779 : : } 780 : : - 781 : 5530 : static bool __mptcp_subflow_error_report(struct sock *sk, struct sock *ssk) + 781 : 5457 : static bool __mptcp_subflow_error_report(struct sock *sk, struct sock *ssk) 782 : : { - 783 [ + + ]: 5530 : int err = sock_error(ssk); - 784 : 3295 : int ssk_state; + 783 [ + + ]: 5457 : int err = sock_error(ssk); + 784 : 3282 : int ssk_state; 785 : : - 786 [ + + ]: 3173 : if (!err) - 787 : 2357 : return false; + 786 [ + + ]: 3160 : if (!err) + 787 : 2297 : return false; 788 : : 789 : : /* only propagate errors on fallen-back sockets or 790 : : * on MPC connect 791 : : */ - 792 [ + + - + : 853 : if (sk->sk_state != TCP_SYN_SENT && !__mptcp_check_fallback(mptcp_sk(sk))) - + + ] + 792 [ + + - + : 886 : if (sk->sk_state != TCP_SYN_SENT && !__mptcp_check_fallback(mptcp_sk(sk))) + + + ] 793 : : return false; 794 : : 795 : : /* We need to propagate only transition to CLOSE state. @@ -878,38 +878,38 @@ 797 : : * subflow_sched_work_if_closed() and that path will properly 798 : : * destroy the msk as needed. 799 : : */ - 800 : 45 : ssk_state = inet_sk_state_load(ssk); - 801 [ + - + + ]: 45 : if (ssk_state == TCP_CLOSE && !sock_flag(sk, SOCK_DEAD)) - 802 : 27 : mptcp_set_state(sk, ssk_state); - 803 : 45 : WRITE_ONCE(sk->sk_err, -err); + 800 : 46 : ssk_state = inet_sk_state_load(ssk); + 801 [ + - + + ]: 46 : if (ssk_state == TCP_CLOSE && !sock_flag(sk, SOCK_DEAD)) + 802 : 28 : mptcp_set_state(sk, ssk_state); + 803 : 46 : WRITE_ONCE(sk->sk_err, -err); 804 : : 805 : : /* This barrier is coupled with smp_rmb() in mptcp_poll() */ - 806 : 45 : smp_wmb(); - 807 : 45 : sk_error_report(sk); - 808 : 45 : return true; + 806 : 46 : smp_wmb(); + 807 : 46 : sk_error_report(sk); + 808 : 46 : return true; 809 : : } 810 : : - 811 : 836 : void __mptcp_error_report(struct sock *sk) + 811 : 817 : void __mptcp_error_report(struct sock *sk) 812 : : { - 813 : 836 : struct mptcp_subflow_context *subflow; - 814 [ - + ]: 836 : struct mptcp_sock *msk = mptcp_sk(sk); + 813 : 817 : struct mptcp_subflow_context *subflow; + 814 [ - + ]: 817 : struct mptcp_sock *msk = mptcp_sk(sk); 815 : : - 816 [ + + ]: 1738 : mptcp_for_each_subflow(msk, subflow) - 817 [ + + ]: 929 : if (__mptcp_subflow_error_report(sk, mptcp_subflow_tcp_sock(subflow))) + 816 [ + + ]: 1647 : mptcp_for_each_subflow(msk, subflow) + 817 [ + + ]: 858 : if (__mptcp_subflow_error_report(sk, mptcp_subflow_tcp_sock(subflow))) 818 : : break; - 819 : 836 : } + 819 : 817 : } 820 : : 821 : : /* In most cases we will be able to lock the mptcp socket. If its already 822 : : * owned, we need to defer to the work queue to avoid ABBA deadlock. 823 : : */ - 824 : 636939 : static bool move_skbs_to_msk(struct mptcp_sock *msk, struct sock *ssk) + 824 : 524565 : static bool move_skbs_to_msk(struct mptcp_sock *msk, struct sock *ssk) 825 : : { - 826 : 636939 : struct sock *sk = (struct sock *)msk; - 827 : 636939 : unsigned int moved = 0; + 826 : 524565 : struct sock *sk = (struct sock *)msk; + 827 : 524565 : unsigned int moved = 0; 828 : : - 829 : 636939 : __mptcp_move_skbs_from_subflow(msk, ssk, &moved); - 830 : 636939 : __mptcp_ofo_queue(msk); - 831 [ - + ]: 636939 : if (unlikely(ssk->sk_err)) { + 829 : 524565 : __mptcp_move_skbs_from_subflow(msk, ssk, &moved); + 830 : 524565 : __mptcp_ofo_queue(msk); + 831 [ - + ]: 524565 : if (unlikely(ssk->sk_err)) { 832 [ # # ]: 0 : if (!sock_owned_by_user(sk)) 833 : 0 : __mptcp_error_report(sk); 834 : : else @@ -922,38 +922,38 @@ 840 : : * this is not a good place to change state. Let the workqueue 841 : : * do it. 842 : : */ - 843 [ + + ]: 636939 : if (mptcp_pending_data_fin(sk, NULL)) - 844 : 288 : mptcp_schedule_work(sk); - 845 : 636939 : return moved > 0; + 843 [ + + ]: 524565 : if (mptcp_pending_data_fin(sk, NULL)) + 844 : 315 : mptcp_schedule_work(sk); + 845 : 524565 : return moved > 0; 846 : : } 847 : : - 848 : 637568 : void mptcp_data_ready(struct sock *sk, struct sock *ssk) + 848 : 525587 : void mptcp_data_ready(struct sock *sk, struct sock *ssk) 849 : : { - 850 [ - + ]: 637568 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); - 851 [ - + ]: 637568 : struct mptcp_sock *msk = mptcp_sk(sk); - 852 : 637568 : int sk_rbuf, ssk_rbuf; + 850 [ - + ]: 525587 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); + 851 [ - + ]: 525587 : struct mptcp_sock *msk = mptcp_sk(sk); + 852 : 525587 : int sk_rbuf, ssk_rbuf; 853 : : 854 : : /* The peer can send data while we are shutting down this 855 : : * subflow at msk destruction time, but we must avoid enqueuing 856 : : * more data to the msk receive queue 857 : : */ - 858 [ + - ]: 637568 : if (unlikely(subflow->disposable)) + 858 [ + - ]: 525587 : if (unlikely(subflow->disposable)) 859 : : return; 860 : : - 861 : 637568 : ssk_rbuf = READ_ONCE(ssk->sk_rcvbuf); - 862 : 637568 : sk_rbuf = READ_ONCE(sk->sk_rcvbuf); - 863 [ - + ]: 637568 : if (unlikely(ssk_rbuf > sk_rbuf)) + 861 : 525587 : ssk_rbuf = READ_ONCE(ssk->sk_rcvbuf); + 862 : 525587 : sk_rbuf = READ_ONCE(sk->sk_rcvbuf); + 863 [ - + ]: 525587 : if (unlikely(ssk_rbuf > sk_rbuf)) 864 : 0 : sk_rbuf = ssk_rbuf; 865 : : 866 : : /* over limit? can't append more skbs to msk, Also, no need to wake-up*/ - 867 [ + + ]: 637568 : if (__mptcp_rmem(sk) > sk_rbuf) + 867 [ + + ]: 525587 : if (__mptcp_rmem(sk) > sk_rbuf) 868 : : return; 869 : : 870 : : /* Wake-up the reader only for in-sequence data */ - 871 : 636939 : mptcp_data_lock(sk); - 872 [ + + + - ]: 636939 : if (move_skbs_to_msk(msk, ssk) && mptcp_epollin_ready(sk)) - 873 : 528810 : sk->sk_data_ready(sk); - 874 : 636939 : mptcp_data_unlock(sk); + 871 : 524565 : mptcp_data_lock(sk); + 872 [ + + + - ]: 524565 : if (move_skbs_to_msk(msk, ssk) && mptcp_epollin_ready(sk)) + 873 : 419554 : sk->sk_data_ready(sk); + 874 : 524565 : mptcp_data_unlock(sk); 875 : : } 876 : : 877 : 992 : static void mptcp_subflow_joined(struct mptcp_sock *msk, struct sock *ssk) @@ -973,8 +973,8 @@ 891 : : /* attach to msk socket only after we are sure we will deal with it 892 : : * at close time 893 : : */ - 894 [ + + + - ]: 505 : if (sk->sk_socket && !ssk->sk_socket) - 895 : 476 : mptcp_sock_graft(ssk, sk->sk_socket); + 894 [ + + + - ]: 505 : if (sk->sk_socket && !ssk->sk_socket) + 895 : 477 : mptcp_sock_graft(ssk, sk->sk_socket); 896 : : 897 : 505 : mptcp_subflow_ctx(ssk)->subflow_id = msk->subflow_id++; 898 : 505 : mptcp_sockopt_sync_locked(msk, ssk); @@ -989,74 +989,74 @@ 907 : 34 : struct mptcp_subflow_context *tmp, *subflow; 908 [ - + ]: 34 : struct mptcp_sock *msk = mptcp_sk(sk); 909 : : - 910 [ + + ]: 69 : list_for_each_entry_safe(subflow, tmp, join_list, node) { - 911 : 35 : struct sock *ssk = mptcp_subflow_tcp_sock(subflow); - 912 : 35 : bool slow = lock_sock_fast(ssk); + 910 [ + + ]: 71 : list_for_each_entry_safe(subflow, tmp, join_list, node) { + 911 : 37 : struct sock *ssk = mptcp_subflow_tcp_sock(subflow); + 912 : 37 : bool slow = lock_sock_fast(ssk); 913 : : - 914 : 35 : list_move_tail(&subflow->node, &msk->conn_list); - 915 [ - + ]: 35 : if (!__mptcp_finish_join(msk, ssk)) + 914 : 37 : list_move_tail(&subflow->node, &msk->conn_list); + 915 [ - + ]: 37 : if (!__mptcp_finish_join(msk, ssk)) 916 : 0 : mptcp_subflow_reset(ssk); - 917 : 35 : unlock_sock_fast(ssk, slow); + 917 : 37 : unlock_sock_fast(ssk, slow); 918 : : } 919 : 34 : } 920 : : - 921 : 270929 : static bool mptcp_rtx_timer_pending(struct sock *sk) + 921 : 272029 : static bool mptcp_rtx_timer_pending(struct sock *sk) 922 : : { - 923 : 695473 : return timer_pending(&inet_csk(sk)->icsk_retransmit_timer); + 923 : 619722 : return timer_pending(&inet_csk(sk)->icsk_retransmit_timer); 924 : : } 925 : : - 926 : 284615 : static void mptcp_reset_rtx_timer(struct sock *sk) + 926 : 226876 : static void mptcp_reset_rtx_timer(struct sock *sk) 927 : : { - 928 : 284615 : struct inet_connection_sock *icsk = inet_csk(sk); - 929 : 284615 : unsigned long tout; + 928 : 226876 : struct inet_connection_sock *icsk = inet_csk(sk); + 929 : 226876 : unsigned long tout; 930 : : 931 : : /* prevent rescheduling on close */ - 932 [ + + ]: 284615 : if (unlikely(inet_sk_state_load(sk) == TCP_CLOSE)) + 932 [ + + ]: 226876 : if (unlikely(inet_sk_state_load(sk) == TCP_CLOSE)) 933 : : return; 934 : : - 935 [ - + ]: 284551 : tout = mptcp_sk(sk)->timer_ival; - 936 : 284551 : sk_reset_timer(sk, &icsk->icsk_retransmit_timer, jiffies + tout); + 935 [ - + ]: 226805 : tout = mptcp_sk(sk)->timer_ival; + 936 : 226805 : sk_reset_timer(sk, &icsk->icsk_retransmit_timer, jiffies + tout); 937 : : } 938 : : - 939 : 16223 : bool mptcp_schedule_work(struct sock *sk) + 939 : 12803 : bool mptcp_schedule_work(struct sock *sk) 940 : : { - 941 [ + + + + ]: 31478 : if (inet_sk_state_load(sk) != TCP_CLOSE && - 942 [ - + + + ]: 15902 : schedule_work(&mptcp_sk(sk)->work)) { + 941 [ + + + + ]: 24632 : if (inet_sk_state_load(sk) != TCP_CLOSE && + 942 [ - + + + ]: 12479 : schedule_work(&mptcp_sk(sk)->work)) { 943 : : /* each subflow already holds a reference to the sk, and the 944 : : * workqueue is invoked by a subflow, so sk can't go away here. 945 : : */ - 946 : 14839 : sock_hold(sk); - 947 : 14839 : return true; + 946 : 11345 : sock_hold(sk); + 947 : 11345 : return true; 948 : : } 949 : : return false; 950 : : } 951 : : - 952 : 289546 : static struct sock *mptcp_subflow_recv_lookup(const struct mptcp_sock *msk) + 952 : 244385 : static struct sock *mptcp_subflow_recv_lookup(const struct mptcp_sock *msk) 953 : : { - 954 : 417557 : struct mptcp_subflow_context *subflow; + 954 : 355012 : struct mptcp_subflow_context *subflow; 955 : : - 956 : 417557 : msk_owned_by_me(msk); + 956 : 355012 : msk_owned_by_me(msk); 957 : : - 958 [ + + ]: 1272606 : mptcp_for_each_subflow(msk, subflow) { - 959 [ + + + + ]: 855565 : if (READ_ONCE(subflow->data_avail)) - 960 : 516 : return mptcp_subflow_tcp_sock(subflow); + 958 [ + + ]: 1074232 : mptcp_for_each_subflow(msk, subflow) { + 959 [ + + + + ]: 719875 : if (READ_ONCE(subflow->data_avail)) + 960 : 655 : return mptcp_subflow_tcp_sock(subflow); 961 : : } 962 : : 963 : : return NULL; 964 : : } 965 : : - 966 : 608153 : static bool mptcp_skb_can_collapse_to(u64 write_seq, + 966 : 527710 : static bool mptcp_skb_can_collapse_to(u64 write_seq, 967 : : const struct sk_buff *skb, 968 : : const struct mptcp_ext *mpext) 969 : : { - 970 [ + + ]: 608153 : if (!tcp_skb_can_collapse_to(skb)) + 970 [ + + ]: 527710 : if (!tcp_skb_can_collapse_to(skb)) 971 : : return false; 972 : : 973 : : /* can collapse only if MPTCP level sequence is in order and this 974 : : * mapping has not been xmitted yet 975 : : */ - 976 [ + - + + ]: 1188580 : return mpext && mpext->data_seq + mpext->data_len == write_seq && - 977 [ + + ]: 525184 : !mpext->frozen; + 976 [ + - + + ]: 1023560 : return mpext && mpext->data_seq + mpext->data_len == write_seq && + 977 [ + + ]: 447730 : !mpext->frozen; 978 : : } 979 : : 980 : : /* we can append data to the given data frag if: @@ -1064,44 +1064,44 @@ 982 : : * - the data frag tail matches the current page_frag free offset 983 : : * - the data frag end sequence number matches the current write seq 984 : : */ - 985 : 687578 : static bool mptcp_frag_can_collapse_to(const struct mptcp_sock *msk, + 985 : 607676 : static bool mptcp_frag_can_collapse_to(const struct mptcp_sock *msk, 986 : : const struct page_frag *pfrag, 987 : : const struct mptcp_data_frag *df) 988 : : { - 989 [ + - ]: 284995 : return df && pfrag->page == df->page && - 990 [ + + ]: 284995 : pfrag->size - pfrag->offset > 0 && - 991 [ + + + - ]: 855805 : pfrag->offset == (df->offset + df->data_len) && - 992 [ - + ]: 168227 : df->data_seq + df->data_len == msk->write_seq; + 989 [ + - ]: 239262 : return df && pfrag->page == df->page && + 990 [ + + ]: 239262 : pfrag->size - pfrag->offset > 0 && + 991 [ + + + - ]: 762243 : pfrag->offset == (df->offset + df->data_len) && + 992 [ - + ]: 154567 : df->data_seq + df->data_len == msk->write_seq; 993 : : } 994 : : - 995 : 217141 : static void dfrag_uncharge(struct sock *sk, int len) + 995 : 227310 : static void dfrag_uncharge(struct sock *sk, int len) 996 : : { - 997 : 688006 : sk_mem_uncharge(sk, len); - 998 : 688006 : sk_wmem_queued_add(sk, -len); - 999 : 168661 : } + 997 : 584033 : sk_mem_uncharge(sk, len); + 998 : 584033 : sk_wmem_queued_add(sk, -len); + 999 : 130930 : } 1000 : : - 1001 : 519345 : static void dfrag_clear(struct sock *sk, struct mptcp_data_frag *dfrag) + 1001 : 453103 : static void dfrag_clear(struct sock *sk, struct mptcp_data_frag *dfrag) 1002 : : { - 1003 : 519345 : int len = dfrag->data_len + dfrag->overhead; + 1003 : 453103 : int len = dfrag->data_len + dfrag->overhead; 1004 : : - 1005 : 519345 : list_del(&dfrag->list); - 1006 : 519345 : dfrag_uncharge(sk, len); - 1007 : 519345 : put_page(dfrag->page); - 1008 : 519345 : } + 1005 : 453103 : list_del(&dfrag->list); + 1006 : 453103 : dfrag_uncharge(sk, len); + 1007 : 453103 : put_page(dfrag->page); + 1008 : 453103 : } 1009 : : 1010 : : /* called under both the msk socket lock and the data lock */ - 1011 : 285739 : static void __mptcp_clean_una(struct sock *sk) + 1011 : 227127 : static void __mptcp_clean_una(struct sock *sk) 1012 : : { - 1013 [ - + ]: 285739 : struct mptcp_sock *msk = mptcp_sk(sk); - 1014 : 285739 : struct mptcp_data_frag *dtmp, *dfrag; - 1015 : 285739 : u64 snd_una; + 1013 [ - + ]: 227127 : struct mptcp_sock *msk = mptcp_sk(sk); + 1014 : 227127 : struct mptcp_data_frag *dtmp, *dfrag; + 1015 : 227127 : u64 snd_una; 1016 : : - 1017 : 285739 : snd_una = msk->snd_una; - 1018 [ + + ]: 804341 : list_for_each_entry_safe(dfrag, dtmp, &msk->rtx_queue, list) { - 1019 [ + + ]: 765540 : if (after64(dfrag->data_seq + dfrag->data_len, snd_una)) + 1017 : 227127 : snd_una = msk->snd_una; + 1018 [ + + ]: 680024 : list_for_each_entry_safe(dfrag, dtmp, &msk->rtx_queue, list) { + 1019 [ + + ]: 651102 : if (after64(dfrag->data_seq + dfrag->data_len, snd_una)) 1020 : : break; 1021 : : - 1022 [ - + ]: 518602 : if (unlikely(dfrag == msk->first_pending)) { + 1022 [ - + ]: 452897 : if (unlikely(dfrag == msk->first_pending)) { 1023 : : /* in recovery mode can see ack after the current snd head */ 1024 [ # # # # ]: 0 : if (WARN_ON_ONCE(!msk->recovery)) 1025 : : break; @@ -1109,15 +1109,15 @@ 1027 : 0 : WRITE_ONCE(msk->first_pending, mptcp_send_next(sk)); 1028 : : } 1029 : : - 1030 : 518602 : dfrag_clear(sk, dfrag); + 1030 : 452897 : dfrag_clear(sk, dfrag); 1031 : : } 1032 : : - 1033 : 285739 : dfrag = mptcp_rtx_head(sk); - 1034 [ + + + + ]: 285739 : if (dfrag && after64(snd_una, dfrag->data_seq)) { - 1035 : 168661 : u64 delta = snd_una - dfrag->data_seq; + 1033 : 227127 : dfrag = mptcp_rtx_head(sk); + 1034 [ + + + + ]: 227127 : if (dfrag && after64(snd_una, dfrag->data_seq)) { + 1035 : 130930 : u64 delta = snd_una - dfrag->data_seq; 1036 : : 1037 : : /* prevent wrap around in recovery mode */ - 1038 [ - + ]: 168661 : if (unlikely(delta > dfrag->already_sent)) { + 1038 [ - + ]: 130930 : if (unlikely(delta > dfrag->already_sent)) { 1039 [ # # # # ]: 0 : if (WARN_ON_ONCE(!msk->recovery)) 1040 : 0 : goto out; 1041 [ # # # # ]: 0 : if (WARN_ON_ONCE(delta > dfrag->data_len)) @@ -1125,45 +1125,45 @@ 1043 : 0 : dfrag->already_sent += delta - dfrag->already_sent; 1044 : : } 1045 : : - 1046 : 168661 : dfrag->data_seq += delta; - 1047 : 168661 : dfrag->offset += delta; - 1048 : 168661 : dfrag->data_len -= delta; - 1049 : 168661 : dfrag->already_sent -= delta; + 1046 : 130930 : dfrag->data_seq += delta; + 1047 : 130930 : dfrag->offset += delta; + 1048 : 130930 : dfrag->data_len -= delta; + 1049 : 130930 : dfrag->already_sent -= delta; 1050 : : - 1051 : 168661 : dfrag_uncharge(sk, delta); + 1051 : 130930 : dfrag_uncharge(sk, delta); 1052 : : } 1053 : : 1054 : : /* all retransmitted data acked, recovery completed */ - 1055 [ + + + + : 285739 : if (unlikely(msk->recovery) && after64(msk->snd_una, msk->recovery_snd_nxt)) - + + ] - 1056 : 15 : msk->recovery = false; + 1055 [ + + + + : 227127 : if (unlikely(msk->recovery) && after64(msk->snd_una, msk->recovery_snd_nxt)) + + + ] + 1056 : 17 : msk->recovery = false; 1057 : : - 1058 : 246808 : out: - 1059 [ + + + + ]: 285739 : if (snd_una == msk->snd_nxt && snd_una == msk->write_seq) { - 1060 [ + + + + ]: 37469 : if (mptcp_rtx_timer_pending(sk) && !mptcp_data_fin_enabled(msk)) - 1061 : 29973 : mptcp_stop_rtx_timer(sk); + 1058 : 187246 : out: + 1059 [ + + + + ]: 227127 : if (snd_una == msk->snd_nxt && snd_una == msk->write_seq) { + 1060 [ + + + + ]: 27511 : if (mptcp_rtx_timer_pending(sk) && !mptcp_data_fin_enabled(msk)) + 1061 : 21356 : mptcp_stop_rtx_timer(sk); 1062 : : } else { - 1063 : 248270 : mptcp_reset_rtx_timer(sk); + 1063 : 199616 : mptcp_reset_rtx_timer(sk); 1064 : : } 1065 : : - 1066 [ + + ]: 285739 : if (mptcp_pending_data_fin_ack(sk)) - 1067 : 1742 : mptcp_schedule_work(sk); - 1068 : 285739 : } + 1066 [ + + ]: 227127 : if (mptcp_pending_data_fin_ack(sk)) + 1067 : 1735 : mptcp_schedule_work(sk); + 1068 : 227127 : } 1069 : : - 1070 : 68092 : static void __mptcp_clean_una_wakeup(struct sock *sk) + 1070 : 61361 : static void __mptcp_clean_una_wakeup(struct sock *sk) 1071 : : { - 1072 [ + - - + ]: 79088 : lockdep_assert_held_once(&sk->sk_lock.slock); + 1072 [ + - - + ]: 71920 : lockdep_assert_held_once(&sk->sk_lock.slock); 1073 : : - 1074 : 79088 : __mptcp_clean_una(sk); - 1075 : 62204 : mptcp_write_space(sk); - 1076 : 75196 : } + 1074 : 71920 : __mptcp_clean_una(sk); + 1075 : 54685 : mptcp_write_space(sk); + 1076 : 68125 : } 1077 : : - 1078 : 12961 : static void mptcp_clean_una_wakeup(struct sock *sk) + 1078 : 9234 : static void mptcp_clean_una_wakeup(struct sock *sk) 1079 : : { - 1080 : 12961 : mptcp_data_lock(sk); - 1081 : 12961 : __mptcp_clean_una_wakeup(sk); - 1082 : 12961 : mptcp_data_unlock(sk); - 1083 : 12961 : } + 1080 : 9234 : mptcp_data_lock(sk); + 1081 : 9234 : __mptcp_clean_una_wakeup(sk); + 1082 : 9234 : mptcp_data_unlock(sk); + 1083 : 9234 : } 1084 : : 1085 : 0 : static void mptcp_enter_memory_pressure(struct sock *sk) 1086 : : { @@ -1186,9 +1186,9 @@ 1103 : : /* ensure we get enough memory for the frag hdr, beyond some minimal amount of 1104 : : * data 1105 : : */ - 1106 : 519351 : static bool mptcp_page_frag_refill(struct sock *sk, struct page_frag *pfrag) + 1106 : 453109 : static bool mptcp_page_frag_refill(struct sock *sk, struct page_frag *pfrag) 1107 : : { - 1108 [ - + ]: 519351 : if (likely(skb_page_frag_refill(32U + sizeof(struct mptcp_data_frag), + 1108 [ - + ]: 453109 : if (likely(skb_page_frag_refill(32U + sizeof(struct mptcp_data_frag), 1109 : : pfrag, sk->sk_allocation))) 1110 : : return true; 1111 : : @@ -1197,21 +1197,21 @@ 1114 : : } 1115 : : 1116 : : static struct mptcp_data_frag * - 1117 : 519351 : mptcp_carve_data_frag(const struct mptcp_sock *msk, struct page_frag *pfrag, + 1117 : 453109 : mptcp_carve_data_frag(const struct mptcp_sock *msk, struct page_frag *pfrag, 1118 : : int orig_offset) 1119 : : { - 1120 : 519351 : int offset = ALIGN(orig_offset, sizeof(long)); - 1121 : 519351 : struct mptcp_data_frag *dfrag; + 1120 : 453109 : int offset = ALIGN(orig_offset, sizeof(long)); + 1121 : 453109 : struct mptcp_data_frag *dfrag; 1122 : : - 1123 : 519351 : dfrag = (struct mptcp_data_frag *)(page_to_virt(pfrag->page) + offset); - 1124 : 519351 : dfrag->data_len = 0; - 1125 : 519351 : dfrag->data_seq = msk->write_seq; - 1126 : 519351 : dfrag->overhead = offset - orig_offset + sizeof(struct mptcp_data_frag); - 1127 : 519351 : dfrag->offset = offset + sizeof(struct mptcp_data_frag); - 1128 : 519351 : dfrag->already_sent = 0; - 1129 : 519351 : dfrag->page = pfrag->page; + 1123 : 453109 : dfrag = (struct mptcp_data_frag *)(page_to_virt(pfrag->page) + offset); + 1124 : 453109 : dfrag->data_len = 0; + 1125 : 453109 : dfrag->data_seq = msk->write_seq; + 1126 : 453109 : dfrag->overhead = offset - orig_offset + sizeof(struct mptcp_data_frag); + 1127 : 453109 : dfrag->offset = offset + sizeof(struct mptcp_data_frag); + 1128 : 453109 : dfrag->already_sent = 0; + 1129 : 453109 : dfrag->page = pfrag->page; 1130 : : - 1131 : 519351 : return dfrag; + 1131 : 453109 : return dfrag; 1132 : : } 1133 : : 1134 : : struct mptcp_sendmsg_info { @@ -1223,47 +1223,47 @@ 1140 : : bool data_lock_held; 1141 : : }; 1142 : : - 1143 : 790629 : static int mptcp_check_allowed_size(const struct mptcp_sock *msk, struct sock *ssk, + 1143 : 671620 : static int mptcp_check_allowed_size(const struct mptcp_sock *msk, struct sock *ssk, 1144 : : u64 data_seq, int avail_size) 1145 : : { - 1146 : 790629 : u64 window_end = mptcp_wnd_end(msk); - 1147 : 790629 : u64 mptcp_snd_wnd; + 1146 : 671620 : u64 window_end = mptcp_wnd_end(msk); + 1147 : 671620 : u64 mptcp_snd_wnd; 1148 : : - 1149 [ + + ]: 790629 : if (__mptcp_check_fallback(msk)) + 1149 [ + + ]: 671620 : if (__mptcp_check_fallback(msk)) 1150 : : return avail_size; 1151 : : - 1152 : 747829 : mptcp_snd_wnd = window_end - data_seq; - 1153 : 747829 : avail_size = min_t(unsigned int, mptcp_snd_wnd, avail_size); + 1152 : 643528 : mptcp_snd_wnd = window_end - data_seq; + 1153 : 643528 : avail_size = min_t(unsigned int, mptcp_snd_wnd, avail_size); 1154 : : - 1155 [ - + + + ]: 747829 : if (unlikely(tcp_sk(ssk)->snd_wnd < mptcp_snd_wnd)) { - 1156 [ - + ]: 4673 : tcp_sk(ssk)->snd_wnd = min_t(u64, U32_MAX, mptcp_snd_wnd); - 1157 [ + - ]: 4673 : MPTCP_INC_STATS(sock_net(ssk), MPTCP_MIB_SNDWNDSHARED); + 1155 [ - + + + ]: 643528 : if (unlikely(tcp_sk(ssk)->snd_wnd < mptcp_snd_wnd)) { + 1156 [ - + ]: 4947 : tcp_sk(ssk)->snd_wnd = min_t(u64, U32_MAX, mptcp_snd_wnd); + 1157 [ + - ]: 4947 : MPTCP_INC_STATS(sock_net(ssk), MPTCP_MIB_SNDWNDSHARED); 1158 : : } 1159 : : 1160 : : return avail_size; 1161 : : } 1162 : : - 1163 : 302749 : static bool __mptcp_add_ext(struct sk_buff *skb, gfp_t gfp) + 1163 : 255622 : static bool __mptcp_add_ext(struct sk_buff *skb, gfp_t gfp) 1164 : : { - 1165 : 302749 : struct skb_ext *mpext = __skb_ext_alloc(gfp); + 1165 : 255622 : struct skb_ext *mpext = __skb_ext_alloc(gfp); 1166 : : - 1167 [ + - ]: 302749 : if (!mpext) + 1167 [ + - ]: 255622 : if (!mpext) 1168 : : return false; - 1169 : 302749 : __skb_ext_set(skb, SKB_EXT_MPTCP, mpext); - 1170 : 302749 : return true; + 1169 : 255622 : __skb_ext_set(skb, SKB_EXT_MPTCP, mpext); + 1170 : 255622 : return true; 1171 : : } 1172 : : - 1173 : 302749 : static struct sk_buff *__mptcp_do_alloc_tx_skb(struct sock *sk, gfp_t gfp) + 1173 : 255622 : static struct sk_buff *__mptcp_do_alloc_tx_skb(struct sock *sk, gfp_t gfp) 1174 : : { - 1175 : 302749 : struct sk_buff *skb; + 1175 : 255622 : struct sk_buff *skb; 1176 : : - 1177 : 302749 : skb = alloc_skb_fclone(MAX_TCP_HEADER, gfp); - 1178 [ + - ]: 302749 : if (likely(skb)) { - 1179 [ + - ]: 302749 : if (likely(__mptcp_add_ext(skb, gfp))) { - 1180 : 302749 : skb_reserve(skb, MAX_TCP_HEADER); - 1181 : 302749 : skb->ip_summed = CHECKSUM_PARTIAL; - 1182 : 302749 : INIT_LIST_HEAD(&skb->tcp_tsorted_anchor); - 1183 : 302749 : return skb; + 1177 : 255622 : skb = alloc_skb_fclone(MAX_TCP_HEADER, gfp); + 1178 [ + - ]: 255622 : if (likely(skb)) { + 1179 [ + - ]: 255622 : if (likely(__mptcp_add_ext(skb, gfp))) { + 1180 : 255622 : skb_reserve(skb, MAX_TCP_HEADER); + 1181 : 255622 : skb->ip_summed = CHECKSUM_PARTIAL; + 1182 : 255622 : INIT_LIST_HEAD(&skb->tcp_tsorted_anchor); + 1183 : 255622 : return skb; 1184 : : } 1185 : 0 : __kfree_skb(skb); 1186 : : } else { @@ -1272,41 +1272,41 @@ 1189 : : return NULL; 1190 : : } 1191 : : - 1192 : 302749 : static struct sk_buff *__mptcp_alloc_tx_skb(struct sock *sk, struct sock *ssk, gfp_t gfp) + 1192 : 255622 : static struct sk_buff *__mptcp_alloc_tx_skb(struct sock *sk, struct sock *ssk, gfp_t gfp) 1193 : : { - 1194 : 302749 : struct sk_buff *skb; + 1194 : 255622 : struct sk_buff *skb; 1195 : : - 1196 : 302749 : skb = __mptcp_do_alloc_tx_skb(sk, gfp); - 1197 [ - + ]: 302749 : if (!skb) + 1196 : 255622 : skb = __mptcp_do_alloc_tx_skb(sk, gfp); + 1197 [ - + ]: 255622 : if (!skb) 1198 : : return NULL; 1199 : : - 1200 [ + - ]: 302749 : if (likely(sk_wmem_schedule(ssk, skb->truesize))) { - 1201 : 302749 : tcp_skb_entail(ssk, skb); - 1202 : 302749 : return skb; + 1200 [ + - ]: 255622 : if (likely(sk_wmem_schedule(ssk, skb->truesize))) { + 1201 : 255622 : tcp_skb_entail(ssk, skb); + 1202 : 255622 : return skb; 1203 : : } 1204 : 0 : tcp_skb_tsorted_anchor_cleanup(skb); 1205 : 0 : kfree_skb(skb); 1206 : 0 : return NULL; 1207 : : } 1208 : : - 1209 : 82106 : static struct sk_buff *mptcp_alloc_tx_skb(struct sock *sk, struct sock *ssk, bool data_lock_held) + 1209 : 77232 : static struct sk_buff *mptcp_alloc_tx_skb(struct sock *sk, struct sock *ssk, bool data_lock_held) 1210 : : { - 1211 : 257564 : gfp_t gfp = data_lock_held ? GFP_ATOMIC : sk->sk_allocation; + 1211 : 224982 : gfp_t gfp = data_lock_held ? GFP_ATOMIC : sk->sk_allocation; 1212 : : - 1213 : 302749 : return __mptcp_alloc_tx_skb(sk, ssk, gfp); + 1213 : 255622 : return __mptcp_alloc_tx_skb(sk, ssk, gfp); 1214 : : } 1215 : : 1216 : : /* note: this always recompute the csum on the whole skb, even 1217 : : * if we just appended a single frag. More status info needed 1218 : : */ - 1219 : 874 : static void mptcp_update_data_checksum(struct sk_buff *skb, int added) + 1219 : 890 : static void mptcp_update_data_checksum(struct sk_buff *skb, int added) 1220 : : { - 1221 [ + - ]: 874 : struct mptcp_ext *mpext = mptcp_get_ext(skb); - 1222 : 874 : __wsum csum = ~csum_unfold(mpext->csum); - 1223 : 874 : int offset = skb->len - added; + 1221 [ + - ]: 890 : struct mptcp_ext *mpext = mptcp_get_ext(skb); + 1222 : 890 : __wsum csum = ~csum_unfold(mpext->csum); + 1223 : 890 : int offset = skb->len - added; 1224 : : - 1225 [ # # ]: 874 : mpext->csum = csum_fold(csum_block_add(csum, skb_checksum(skb, offset, added, 0), offset)); - 1226 : 874 : } + 1225 [ # # ]: 890 : mpext->csum = csum_fold(csum_block_add(csum, skb_checksum(skb, offset, added, 0), offset)); + 1226 : 890 : } 1227 : : 1228 : 2 : static void mptcp_update_infinite_map(struct mptcp_sock *msk, 1229 : : struct sock *ssk, @@ -1326,79 +1326,79 @@ 1243 : : 1244 : : #define MPTCP_MAX_GSO_SIZE (GSO_LEGACY_MAX_SIZE - (MAX_TCP_HEADER + 1)) 1245 : : - 1246 : 790629 : static int mptcp_sendmsg_frag(struct sock *sk, struct sock *ssk, + 1246 : 671620 : static int mptcp_sendmsg_frag(struct sock *sk, struct sock *ssk, 1247 : : struct mptcp_data_frag *dfrag, 1248 : : struct mptcp_sendmsg_info *info) 1249 : : { - 1250 : 790629 : u64 data_seq = dfrag->data_seq + info->sent; - 1251 : 790629 : int offset = dfrag->offset + info->sent; - 1252 [ - + ]: 790629 : struct mptcp_sock *msk = mptcp_sk(sk); - 1253 : 790629 : bool zero_window_probe = false; - 1254 : 790629 : struct mptcp_ext *mpext = NULL; - 1255 : 790629 : bool can_coalesce = false; - 1256 : 790629 : bool reuse_skb = true; - 1257 : 790629 : struct sk_buff *skb; - 1258 : 790629 : size_t copy; - 1259 : 790629 : int i; + 1250 : 671620 : u64 data_seq = dfrag->data_seq + info->sent; + 1251 : 671620 : int offset = dfrag->offset + info->sent; + 1252 [ - + ]: 671620 : struct mptcp_sock *msk = mptcp_sk(sk); + 1253 : 671620 : bool zero_window_probe = false; + 1254 : 671620 : struct mptcp_ext *mpext = NULL; + 1255 : 671620 : bool can_coalesce = false; + 1256 : 671620 : bool reuse_skb = true; + 1257 : 671620 : struct sk_buff *skb; + 1258 : 671620 : size_t copy; + 1259 : 671620 : int i; 1260 : : - 1261 [ - + ]: 790629 : pr_debug("msk=%p ssk=%p sending dfrag at seq=%llu len=%u already sent=%u\n", + 1261 [ - + ]: 671620 : pr_debug("msk=%p ssk=%p sending dfrag at seq=%llu len=%u already sent=%u\n", 1262 : : msk, ssk, dfrag->data_seq, dfrag->data_len, info->sent); 1263 : : - 1264 [ + - - + ]: 790629 : if (WARN_ON_ONCE(info->sent > info->limit || + 1264 [ + - - + ]: 671620 : if (WARN_ON_ONCE(info->sent > info->limit || 1265 : : info->limit > dfrag->data_len)) 1266 : 0 : return 0; 1267 : : - 1268 [ + - ]: 790629 : if (unlikely(!__tcp_can_send(ssk))) + 1268 [ + - ]: 671620 : if (unlikely(!__tcp_can_send(ssk))) 1269 : : return -EAGAIN; 1270 : : 1271 : : /* compute send limit */ - 1272 [ - + ]: 790629 : if (unlikely(ssk->sk_gso_max_size > MPTCP_MAX_GSO_SIZE)) + 1272 [ - + ]: 671620 : if (unlikely(ssk->sk_gso_max_size > MPTCP_MAX_GSO_SIZE)) 1273 : 0 : ssk->sk_gso_max_size = MPTCP_MAX_GSO_SIZE; - 1274 : 790629 : info->mss_now = tcp_send_mss(ssk, &info->size_goal, info->flags); - 1275 : 790629 : copy = info->size_goal; + 1274 : 671620 : info->mss_now = tcp_send_mss(ssk, &info->size_goal, info->flags); + 1275 : 671620 : copy = info->size_goal; 1276 : : - 1277 [ + + ]: 790629 : skb = tcp_write_queue_tail(ssk); - 1278 [ + - + + ]: 644218 : if (skb && copy > skb->len) { + 1277 [ + + ]: 671620 : skb = tcp_write_queue_tail(ssk); + 1278 [ + - + + ]: 551686 : if (skb && copy > skb->len) { 1279 : : /* Limit the write to the size available in the 1280 : : * current skb, if any, so that we create at most a new skb. 1281 : : * Explicitly tells TCP internals to avoid collapsing on later 1282 : : * queue management operation, to avoid breaking the ext <-> 1283 : : * SSN association set here 1284 : : */ - 1285 [ + - ]: 608153 : mpext = mptcp_get_ext(skb); - 1286 [ + + ]: 608153 : if (!mptcp_skb_can_collapse_to(data_seq, skb, mpext)) { - 1287 : 115196 : TCP_SKB_CB(skb)->eor = 1; - 1288 [ - + ]: 115196 : tcp_mark_push(tcp_sk(ssk), skb); - 1289 : 115196 : goto alloc_skb; + 1285 [ + - ]: 527710 : mpext = mptcp_get_ext(skb); + 1286 [ + + ]: 527710 : if (!mptcp_skb_can_collapse_to(data_seq, skb, mpext)) { + 1287 : 106290 : TCP_SKB_CB(skb)->eor = 1; + 1288 [ - + ]: 106290 : tcp_mark_push(tcp_sk(ssk), skb); + 1289 : 106290 : goto alloc_skb; 1290 : : } 1291 : : - 1292 : 492957 : i = skb_shinfo(skb)->nr_frags; - 1293 : 492957 : can_coalesce = skb_can_coalesce(skb, i, dfrag->page, offset); - 1294 [ + + + + ]: 492957 : if (!can_coalesce && i >= READ_ONCE(net_hotdata.sysctl_max_skb_frags)) { - 1295 [ - + ]: 5077 : tcp_mark_push(tcp_sk(ssk), skb); - 1296 : 5077 : goto alloc_skb; + 1292 : 421420 : i = skb_shinfo(skb)->nr_frags; + 1293 : 421420 : can_coalesce = skb_can_coalesce(skb, i, dfrag->page, offset); + 1294 [ + + + + ]: 421420 : if (!can_coalesce && i >= READ_ONCE(net_hotdata.sysctl_max_skb_frags)) { + 1295 [ - + ]: 5422 : tcp_mark_push(tcp_sk(ssk), skb); + 1296 : 5422 : goto alloc_skb; 1297 : : } 1298 : : - 1299 : 487880 : copy -= skb->len; + 1299 : 415998 : copy -= skb->len; 1300 : : } else { - 1301 [ + + ]: 82106 : alloc_skb: - 1302 [ + + + + ]: 302749 : skb = mptcp_alloc_tx_skb(sk, ssk, info->data_lock_held); - 1303 [ - + ]: 302749 : if (!skb) + 1301 [ + + ]: 77232 : alloc_skb: + 1302 [ + + + + ]: 255622 : skb = mptcp_alloc_tx_skb(sk, ssk, info->data_lock_held); + 1303 [ - + ]: 255622 : if (!skb) 1304 : : return -ENOMEM; 1305 : : - 1306 [ + - ]: 302749 : i = skb_shinfo(skb)->nr_frags; - 1307 : 302749 : reuse_skb = false; - 1308 [ + - ]: 302749 : mpext = mptcp_get_ext(skb); + 1306 [ + - ]: 255622 : i = skb_shinfo(skb)->nr_frags; + 1307 : 255622 : reuse_skb = false; + 1308 [ + - ]: 255622 : mpext = mptcp_get_ext(skb); 1309 : : } 1310 : : 1311 : : /* Zero window and all data acked? Probe. */ - 1312 : 790629 : copy = mptcp_check_allowed_size(msk, ssk, data_seq, copy); - 1313 [ + + ]: 790629 : if (copy == 0) { - 1314 : 187329 : u64 snd_una = READ_ONCE(msk->snd_una); + 1312 : 671620 : copy = mptcp_check_allowed_size(msk, ssk, data_seq, copy); + 1313 [ + + ]: 671620 : if (copy == 0) { + 1314 : 156695 : u64 snd_una = READ_ONCE(msk->snd_una); 1315 : : - 1316 [ + + + - ]: 214324 : if (snd_una != msk->snd_nxt || tcp_write_queue_tail(ssk)) { - 1317 : 187329 : tcp_remove_empty_skb(ssk); - 1318 : 187329 : return 0; + 1316 [ + + + - ]: 183206 : if (snd_una != msk->snd_nxt || tcp_write_queue_tail(ssk)) { + 1317 : 156695 : tcp_remove_empty_skb(ssk); + 1318 : 156695 : return 0; 1319 : : } 1320 : : 1321 : 0 : zero_window_probe = true; @@ -1406,47 +1406,47 @@ 1323 : 0 : copy = 1; 1324 : : } 1325 : : - 1326 : 603300 : copy = min_t(size_t, copy, info->limit - info->sent); - 1327 [ - + ]: 603300 : if (!sk_wmem_schedule(ssk, copy)) { + 1326 : 514925 : copy = min_t(size_t, copy, info->limit - info->sent); + 1327 [ - + ]: 514925 : if (!sk_wmem_schedule(ssk, copy)) { 1328 : 0 : tcp_remove_empty_skb(ssk); 1329 : 0 : return -ENOMEM; 1330 : : } 1331 : : - 1332 [ + + ]: 603300 : if (can_coalesce) { - 1333 : 19527 : skb_frag_size_add(&skb_shinfo(skb)->frags[i - 1], copy); + 1332 [ + + ]: 514925 : if (can_coalesce) { + 1333 : 18008 : skb_frag_size_add(&skb_shinfo(skb)->frags[i - 1], copy); 1334 : : } else { - 1335 : 583773 : get_page(dfrag->page); - 1336 : 583773 : skb_fill_page_desc(skb, i, dfrag->page, offset, copy); + 1335 : 496917 : get_page(dfrag->page); + 1336 : 496917 : skb_fill_page_desc(skb, i, dfrag->page, offset, copy); 1337 : : } 1338 : : - 1339 : 603300 : skb->len += copy; - 1340 : 603300 : skb->data_len += copy; - 1341 : 603300 : skb->truesize += copy; - 1342 [ + - ]: 603300 : sk_wmem_queued_add(ssk, copy); - 1343 [ + - ]: 603300 : sk_mem_charge(ssk, copy); - 1344 [ - + - + ]: 603300 : WRITE_ONCE(tcp_sk(ssk)->write_seq, tcp_sk(ssk)->write_seq + copy); - 1345 : 603300 : TCP_SKB_CB(skb)->end_seq += copy; - 1346 [ + + ]: 603300 : tcp_skb_pcount_set(skb, 0); + 1339 : 514925 : skb->len += copy; + 1340 : 514925 : skb->data_len += copy; + 1341 : 514925 : skb->truesize += copy; + 1342 [ + - ]: 514925 : sk_wmem_queued_add(ssk, copy); + 1343 [ + - ]: 514925 : sk_mem_charge(ssk, copy); + 1344 [ - + - + ]: 514925 : WRITE_ONCE(tcp_sk(ssk)->write_seq, tcp_sk(ssk)->write_seq + copy); + 1345 : 514925 : TCP_SKB_CB(skb)->end_seq += copy; + 1346 [ + + ]: 514925 : tcp_skb_pcount_set(skb, 0); 1347 : : 1348 : : /* on skb reuse we just need to update the DSS len */ - 1349 [ + + ]: 603300 : if (reuse_skb) { - 1350 : 365080 : TCP_SKB_CB(skb)->tcp_flags &= ~TCPHDR_PSH; - 1351 : 365080 : mpext->data_len += copy; - 1352 : 365080 : goto out; + 1349 [ + + ]: 514925 : if (reuse_skb) { + 1350 : 318108 : TCP_SKB_CB(skb)->tcp_flags &= ~TCPHDR_PSH; + 1351 : 318108 : mpext->data_len += copy; + 1352 : 318108 : goto out; 1353 : : } 1354 : : - 1355 : 238220 : memset(mpext, 0, sizeof(*mpext)); - 1356 : 238220 : mpext->data_seq = data_seq; - 1357 [ - + ]: 238220 : mpext->subflow_seq = mptcp_subflow_ctx(ssk)->rel_write_seq; - 1358 : 238220 : mpext->data_len = copy; - 1359 : 238220 : mpext->use_map = 1; - 1360 : 238220 : mpext->dsn64 = 1; + 1355 : 196817 : memset(mpext, 0, sizeof(*mpext)); + 1356 : 196817 : mpext->data_seq = data_seq; + 1357 [ - + ]: 196817 : mpext->subflow_seq = mptcp_subflow_ctx(ssk)->rel_write_seq; + 1358 : 196817 : mpext->data_len = copy; + 1359 : 196817 : mpext->use_map = 1; + 1360 : 196817 : mpext->dsn64 = 1; 1361 : : - 1362 [ - + ]: 238220 : pr_debug("data_seq=%llu subflow_seq=%u data_len=%u dsn64=%d\n", + 1362 [ - + ]: 196817 : pr_debug("data_seq=%llu subflow_seq=%u data_len=%u dsn64=%d\n", 1363 : : mpext->data_seq, mpext->subflow_seq, mpext->data_len, 1364 : : mpext->dsn64); 1365 : : - 1366 [ - + ]: 238220 : if (zero_window_probe) { + 1366 [ - + ]: 196817 : if (zero_window_probe) { 1367 [ # # ]: 0 : mptcp_subflow_ctx(ssk)->rel_write_seq += copy; 1368 : 0 : mpext->frozen = 1; 1369 [ # # # # ]: 0 : if (READ_ONCE(msk->csum_enabled)) @@ -1454,14 +1454,14 @@ 1371 : 0 : tcp_push_pending_frames(ssk); 1372 : 0 : return 0; 1373 : : } - 1374 : 238220 : out: - 1375 [ + + + + ]: 603300 : if (READ_ONCE(msk->csum_enabled)) - 1376 : 874 : mptcp_update_data_checksum(skb, copy); - 1377 [ + + ]: 603300 : if (mptcp_subflow_ctx(ssk)->send_infinite_map) + 1374 : 196817 : out: + 1375 [ + + + + ]: 514925 : if (READ_ONCE(msk->csum_enabled)) + 1376 : 890 : mptcp_update_data_checksum(skb, copy); + 1377 [ + + ]: 514925 : if (mptcp_subflow_ctx(ssk)->send_infinite_map) 1378 : 2 : mptcp_update_infinite_map(msk, ssk, mpext); - 1379 : 603300 : trace_mptcp_sendmsg_frag(mpext); - 1380 : 603300 : mptcp_subflow_ctx(ssk)->rel_write_seq += copy; - 1381 : 603300 : return copy; + 1379 : 514925 : trace_mptcp_sendmsg_frag(mpext); + 1380 : 514925 : mptcp_subflow_ctx(ssk)->rel_write_seq += copy; + 1381 : 514925 : return copy; 1382 : : } 1383 : : 1384 : : #define MPTCP_SEND_BURST_SIZE ((1 << 16) - \ @@ -1484,17 +1484,17 @@ 1401 [ # # ]: 0 : MPTCP_INC_STATS(sock_net(mptcp_subflow_tcp_sock(subflow)), MPTCP_MIB_SUBFLOWRECOVER); 1402 : : } 1403 : : - 1404 : 1321377 : bool mptcp_subflow_active(struct mptcp_subflow_context *subflow) + 1404 : 1144761 : bool mptcp_subflow_active(struct mptcp_subflow_context *subflow) 1405 : : { - 1406 [ + + ]: 1321377 : if (unlikely(subflow->stale)) { - 1407 [ - + ]: 105641 : u32 rcv_tstamp = READ_ONCE(tcp_sk(mptcp_subflow_tcp_sock(subflow))->rcv_tstamp); + 1406 [ + + ]: 1144761 : if (unlikely(subflow->stale)) { + 1407 [ - + ]: 85961 : u32 rcv_tstamp = READ_ONCE(tcp_sk(mptcp_subflow_tcp_sock(subflow))->rcv_tstamp); 1408 : : - 1409 [ - + ]: 105641 : if (subflow->stale_rcv_tstamp == rcv_tstamp) + 1409 [ - + ]: 85961 : if (subflow->stale_rcv_tstamp == rcv_tstamp) 1410 : : return false; 1411 : : 1412 : 0 : mptcp_subflow_set_active(subflow); 1413 : : } - 1414 : 1215736 : return __mptcp_subflow_active(subflow); + 1414 : 1058800 : return __mptcp_subflow_active(subflow); 1415 : : } 1416 : : 1417 : : #define SSK_MODE_ACTIVE 0 @@ -1505,35 +1505,35 @@ 1422 : : * returns the subflow that will transmit the next DSS 1423 : : * additionally updates the rtx timeout 1424 : : */ - 1425 : 489244 : struct sock *mptcp_subflow_get_send(struct mptcp_sock *msk) + 1425 : 410375 : struct sock *mptcp_subflow_get_send(struct mptcp_sock *msk) 1426 : : { - 1427 : 489244 : struct subflow_send_info send_info[SSK_MODE_MAX]; - 1428 : 489244 : struct mptcp_subflow_context *subflow; - 1429 : 489244 : struct sock *sk = (struct sock *)msk; - 1430 : 489244 : u32 pace, burst, wmem; - 1431 : 489244 : int i, nr_active = 0; - 1432 : 489244 : struct sock *ssk; - 1433 : 489244 : u64 linger_time; - 1434 : 489244 : long tout = 0; + 1427 : 410375 : struct subflow_send_info send_info[SSK_MODE_MAX]; + 1428 : 410375 : struct mptcp_subflow_context *subflow; + 1429 : 410375 : struct sock *sk = (struct sock *)msk; + 1430 : 410375 : u32 pace, burst, wmem; + 1431 : 410375 : int i, nr_active = 0; + 1432 : 410375 : struct sock *ssk; + 1433 : 410375 : u64 linger_time; + 1434 : 410375 : long tout = 0; 1435 : : 1436 : : /* pick the subflow with the lower wmem/wspace ratio */ - 1437 [ + + ]: 1467732 : for (i = 0; i < SSK_MODE_MAX; ++i) { - 1438 : 978488 : send_info[i].ssk = NULL; - 1439 : 978488 : send_info[i].linger_time = -1; + 1437 [ + + ]: 1231125 : for (i = 0; i < SSK_MODE_MAX; ++i) { + 1438 : 820750 : send_info[i].ssk = NULL; + 1439 : 820750 : send_info[i].linger_time = -1; 1440 : : } 1441 : : - 1442 [ + + ]: 1415323 : mptcp_for_each_subflow(msk, subflow) { - 1443 : 926079 : bool backup = subflow->backup || subflow->request_bkup; + 1442 [ + + ]: 1207862 : mptcp_for_each_subflow(msk, subflow) { + 1443 : 797487 : bool backup = subflow->backup || subflow->request_bkup; 1444 : : - 1445 : 926079 : trace_mptcp_subflow_get_send(subflow); - 1446 : 926079 : ssk = mptcp_subflow_tcp_sock(subflow); - 1447 [ + + ]: 926079 : if (!mptcp_subflow_active(subflow)) - 1448 : 106980 : continue; + 1445 : 797487 : trace_mptcp_subflow_get_send(subflow); + 1446 : 797487 : ssk = mptcp_subflow_tcp_sock(subflow); + 1447 [ + + ]: 797487 : if (!mptcp_subflow_active(subflow)) + 1448 : 87317 : continue; 1449 : : - 1450 [ + + ]: 819099 : tout = max(tout, mptcp_timeout_from_subflow(subflow)); - 1451 : 819099 : nr_active += !backup; - 1452 : 819099 : pace = subflow->avg_pacing_rate; - 1453 [ + + ]: 819099 : if (unlikely(!pace)) { + 1450 [ + + ]: 710170 : tout = max(tout, mptcp_timeout_from_subflow(subflow)); + 1451 : 710170 : nr_active += !backup; + 1452 : 710170 : pace = subflow->avg_pacing_rate; + 1453 [ + + ]: 710170 : if (unlikely(!pace)) { 1454 : : /* init pacing rate from socket */ 1455 : 2488 : subflow->avg_pacing_rate = READ_ONCE(ssk->sk_pacing_rate); 1456 : 2488 : pace = subflow->avg_pacing_rate; @@ -1541,17 +1541,17 @@ 1458 : 0 : continue; 1459 : : } 1460 : : - 1461 [ + + ]: 819099 : linger_time = div_u64((u64)READ_ONCE(ssk->sk_wmem_queued) << 32, pace); - 1462 [ + + ]: 819099 : if (linger_time < send_info[backup].linger_time) { - 1463 : 631914 : send_info[backup].ssk = ssk; - 1464 : 631914 : send_info[backup].linger_time = linger_time; + 1461 [ + + ]: 710170 : linger_time = div_u64((u64)READ_ONCE(ssk->sk_wmem_queued) << 32, pace); + 1462 [ + + ]: 710170 : if (linger_time < send_info[backup].linger_time) { + 1463 : 542559 : send_info[backup].ssk = ssk; + 1464 : 542559 : send_info[backup].linger_time = linger_time; 1465 : : } 1466 : : } - 1467 : 489244 : __mptcp_set_timeout(sk, tout); + 1467 : 410375 : __mptcp_set_timeout(sk, tout); 1468 : : 1469 : : /* pick the best backup if no other subflow is active */ - 1470 [ + + ]: 489244 : if (!nr_active) - 1471 : 34556 : send_info[SSK_MODE_ACTIVE].ssk = send_info[SSK_MODE_BACKUP].ssk; + 1470 [ + + ]: 410375 : if (!nr_active) + 1471 : 26357 : send_info[SSK_MODE_ACTIVE].ssk = send_info[SSK_MODE_BACKUP].ssk; 1472 : : 1473 : : /* According to the blest algorithm, to avoid HoL blocking for the 1474 : : * faster flow, we need to: @@ -1564,40 +1564,40 @@ 1481 : : * the queued mem, which basically ensure the above. We just need 1482 : : * to check that subflow has a non empty cwin. 1483 : : */ - 1484 : 489244 : ssk = send_info[SSK_MODE_ACTIVE].ssk; - 1485 [ + + + + ]: 978481 : if (!ssk || !sk_stream_memory_free(ssk)) - 1486 : 91856 : return NULL; + 1484 : 410375 : ssk = send_info[SSK_MODE_ACTIVE].ssk; + 1485 [ + + + + ]: 820730 : if (!ssk || !sk_stream_memory_free(ssk)) + 1486 : 76394 : return NULL; 1487 : : - 1488 : 397388 : burst = min_t(int, MPTCP_SEND_BURST_SIZE, mptcp_wnd_end(msk) - msk->snd_nxt); - 1489 : 397388 : wmem = READ_ONCE(ssk->sk_wmem_queued); - 1490 [ + + ]: 397388 : if (!burst) + 1488 : 333981 : burst = min_t(int, MPTCP_SEND_BURST_SIZE, mptcp_wnd_end(msk) - msk->snd_nxt); + 1489 : 333981 : wmem = READ_ONCE(ssk->sk_wmem_queued); + 1490 [ + + ]: 333981 : if (!burst) 1491 : : return ssk; 1492 : : - 1493 : 259502 : subflow = mptcp_subflow_ctx(ssk); - 1494 : 259502 : subflow->avg_pacing_rate = div_u64((u64)subflow->avg_pacing_rate * wmem + - 1495 : 259502 : READ_ONCE(ssk->sk_pacing_rate) * burst, + 1493 : 214787 : subflow = mptcp_subflow_ctx(ssk); + 1494 : 214787 : subflow->avg_pacing_rate = div_u64((u64)subflow->avg_pacing_rate * wmem + + 1495 : 214787 : READ_ONCE(ssk->sk_pacing_rate) * burst, 1496 : : burst + wmem); - 1497 : 259502 : msk->snd_burst = burst; - 1498 : 259502 : return ssk; + 1497 : 214787 : msk->snd_burst = burst; + 1498 : 214787 : return ssk; 1499 : : } 1500 : : - 1501 : 559392 : static void mptcp_push_release(struct sock *ssk, struct mptcp_sendmsg_info *info) + 1501 : 513137 : static void mptcp_push_release(struct sock *ssk, struct mptcp_sendmsg_info *info) 1502 : : { - 1503 [ - + ]: 559392 : tcp_push(ssk, 0, info->mss_now, tcp_sk(ssk)->nonagle, info->size_goal); - 1504 : 559392 : release_sock(ssk); - 1505 : 559392 : } + 1503 [ - + ]: 513137 : tcp_push(ssk, 0, info->mss_now, tcp_sk(ssk)->nonagle, info->size_goal); + 1504 : 513137 : release_sock(ssk); + 1505 : 513137 : } 1506 : : - 1507 : 599701 : static void mptcp_update_post_push(struct mptcp_sock *msk, + 1507 : 511297 : static void mptcp_update_post_push(struct mptcp_sock *msk, 1508 : : struct mptcp_data_frag *dfrag, 1509 : : u32 sent) 1510 : : { - 1511 : 599701 : u64 snd_nxt_new = dfrag->data_seq; + 1511 : 511297 : u64 snd_nxt_new = dfrag->data_seq; 1512 : : - 1513 : 599701 : dfrag->already_sent += sent; + 1513 : 511297 : dfrag->already_sent += sent; 1514 : : - 1515 : 599701 : msk->snd_burst -= sent; + 1515 : 511297 : msk->snd_burst -= sent; 1516 : : - 1517 : 599701 : snd_nxt_new += dfrag->already_sent; + 1517 : 511297 : snd_nxt_new += dfrag->already_sent; 1518 : : 1519 : : /* snd_nxt_new can be smaller than snd_nxt in case mptcp 1520 : : * is recovering after a failover. In that event, this re-sends @@ -1608,113 +1608,113 @@ 1525 : : * that has been handed to the subflow for transmission 1526 : : * and skip update in case it was old dfrag. 1527 : : */ - 1528 [ + + ]: 599701 : if (likely(after64(snd_nxt_new, msk->snd_nxt))) { - 1529 : 594365 : msk->bytes_sent += snd_nxt_new - msk->snd_nxt; - 1530 : 594365 : WRITE_ONCE(msk->snd_nxt, snd_nxt_new); + 1528 [ + + ]: 511297 : if (likely(after64(snd_nxt_new, msk->snd_nxt))) { + 1529 : 506693 : msk->bytes_sent += snd_nxt_new - msk->snd_nxt; + 1530 : 506693 : WRITE_ONCE(msk->snd_nxt, snd_nxt_new); 1531 : : } - 1532 : 599701 : } + 1532 : 511297 : } 1533 : : - 1534 : 12056 : void mptcp_check_and_set_pending(struct sock *sk) + 1534 : 8472 : void mptcp_check_and_set_pending(struct sock *sk) 1535 : : { - 1536 [ + + ]: 12056 : if (mptcp_send_head(sk)) { - 1537 : 3247 : mptcp_data_lock(sk); - 1538 [ - + ]: 3247 : mptcp_sk(sk)->cb_flags |= BIT(MPTCP_PUSH_PENDING); - 1539 : 3247 : mptcp_data_unlock(sk); + 1536 [ + + ]: 8472 : if (mptcp_send_head(sk)) { + 1537 : 2144 : mptcp_data_lock(sk); + 1538 [ - + ]: 2144 : mptcp_sk(sk)->cb_flags |= BIT(MPTCP_PUSH_PENDING); + 1539 : 2144 : mptcp_data_unlock(sk); 1540 : : } - 1541 : 12056 : } + 1541 : 8472 : } 1542 : : - 1543 : 669944 : static int __subflow_push_pending(struct sock *sk, struct sock *ssk, + 1543 : 594542 : static int __subflow_push_pending(struct sock *sk, struct sock *ssk, 1544 : : struct mptcp_sendmsg_info *info) 1545 : : { - 1546 [ - + ]: 669944 : struct mptcp_sock *msk = mptcp_sk(sk); - 1547 : 341641 : struct mptcp_data_frag *dfrag; - 1548 : 341641 : int len, copied = 0, err = 0; + 1546 [ - + ]: 594542 : struct mptcp_sock *msk = mptcp_sk(sk); + 1547 : 352566 : struct mptcp_data_frag *dfrag; + 1548 : 352566 : int len, copied = 0, err = 0; 1549 : : - 1550 [ + + ]: 980803 : while ((dfrag = mptcp_send_head(sk))) { - 1551 : 711590 : info->sent = dfrag->already_sent; - 1552 : 711590 : info->limit = dfrag->data_len; - 1553 : 711590 : len = dfrag->data_len - dfrag->already_sent; - 1554 [ + + ]: 1311291 : while (len > 0) { - 1555 : 787030 : int ret = 0; + 1550 [ + + ]: 857676 : while ((dfrag = mptcp_send_head(sk))) { + 1551 : 614040 : info->sent = dfrag->already_sent; + 1552 : 614040 : info->limit = dfrag->data_len; + 1553 : 614040 : len = dfrag->data_len - dfrag->already_sent; + 1554 [ + + ]: 1125337 : while (len > 0) { + 1555 : 667992 : int ret = 0; 1556 : : - 1557 : 787030 : ret = mptcp_sendmsg_frag(sk, ssk, dfrag, info); - 1558 [ + + ]: 787030 : if (ret <= 0) { - 1559 [ + + ]: 187329 : err = copied ? : ret; - 1560 : 187329 : goto out; + 1557 : 667992 : ret = mptcp_sendmsg_frag(sk, ssk, dfrag, info); + 1558 [ + + ]: 667992 : if (ret <= 0) { + 1559 [ + + ]: 156695 : err = copied ? : ret; + 1560 : 156695 : goto out; 1561 : : } 1562 : : - 1563 : 599701 : info->sent += ret; - 1564 : 599701 : copied += ret; - 1565 : 599701 : len -= ret; + 1563 : 511297 : info->sent += ret; + 1564 : 511297 : copied += ret; + 1565 : 511297 : len -= ret; 1566 : : - 1567 : 599701 : mptcp_update_post_push(msk, dfrag, ret); + 1567 : 511297 : mptcp_update_post_push(msk, dfrag, ret); 1568 : : } - 1569 : 524261 : WRITE_ONCE(msk->first_pending, mptcp_send_next(sk)); + 1569 : 457345 : WRITE_ONCE(msk->first_pending, mptcp_send_next(sk)); 1570 : : - 1571 [ + + + + ]: 778319 : if (msk->snd_burst <= 0 || - 1572 [ + + - + ]: 374882 : !sk_stream_memory_free(ssk) || - 1573 : 310859 : !mptcp_subflow_active(mptcp_subflow_ctx(ssk))) { - 1574 : 213402 : err = copied; - 1575 : 213402 : goto out; + 1571 [ + + + + ]: 651383 : if (msk->snd_burst <= 0 || + 1572 [ + + - + ]: 338439 : !sk_stream_memory_free(ssk) || + 1573 : 263134 : !mptcp_subflow_active(mptcp_subflow_ctx(ssk))) { + 1574 : 194211 : err = copied; + 1575 : 194211 : goto out; 1576 : : } - 1577 : 310859 : mptcp_set_timeout(sk); + 1577 : 263134 : mptcp_set_timeout(sk); 1578 : : } 1579 : : err = copied; 1580 : : - 1581 : 669944 : out: - 1582 [ + + ]: 669944 : if (err > 0) - 1583 : 481788 : msk->last_data_sent = tcp_jiffies32; - 1584 : 669944 : return err; + 1581 : 594542 : out: + 1582 [ + + ]: 594542 : if (err > 0) + 1583 : 427704 : msk->last_data_sent = tcp_jiffies32; + 1584 : 594542 : return err; 1585 : : } 1586 : : - 1587 : 595452 : void __mptcp_push_pending(struct sock *sk, unsigned int flags) + 1587 : 544882 : void __mptcp_push_pending(struct sock *sk, unsigned int flags) 1588 : : { - 1589 : 595452 : struct sock *prev_ssk = NULL, *ssk = NULL; - 1590 [ - + ]: 595452 : struct mptcp_sock *msk = mptcp_sk(sk); - 1591 : 595452 : struct mptcp_sendmsg_info info = { + 1589 : 544882 : struct sock *prev_ssk = NULL, *ssk = NULL; + 1590 [ - + ]: 544882 : struct mptcp_sock *msk = mptcp_sk(sk); + 1591 : 544882 : struct mptcp_sendmsg_info info = { 1592 : : .flags = flags, 1593 : : }; - 1594 : 595452 : bool do_check_data_fin = false; - 1595 : 595452 : int push_count = 1; + 1594 : 544882 : bool do_check_data_fin = false; + 1595 : 544882 : int push_count = 1; 1596 : : - 1597 [ + + + + ]: 1128907 : while (mptcp_send_head(sk) && (push_count > 0)) { - 1598 : 601342 : struct mptcp_subflow_context *subflow; - 1599 : 601342 : int ret = 0; + 1597 [ + + + + ]: 1026945 : while (mptcp_send_head(sk) && (push_count > 0)) { + 1598 : 544872 : struct mptcp_subflow_context *subflow; + 1599 : 544872 : int ret = 0; 1600 : : - 1601 [ + + ]: 601342 : if (mptcp_sched_get_send(msk)) + 1601 [ + + ]: 544872 : if (mptcp_sched_get_send(msk)) 1602 : : break; 1603 : : - 1604 : 533455 : push_count = 0; + 1604 : 482063 : push_count = 0; 1605 : : - 1606 [ + + ]: 1448772 : mptcp_for_each_subflow(msk, subflow) { - 1607 [ + + + + ]: 915317 : if (READ_ONCE(subflow->scheduled)) { - 1608 : 575290 : mptcp_subflow_set_scheduled(subflow, false); + 1606 [ + + ]: 1330819 : mptcp_for_each_subflow(msk, subflow) { + 1607 [ + + + + ]: 848756 : if (READ_ONCE(subflow->scheduled)) { + 1608 : 523898 : mptcp_subflow_set_scheduled(subflow, false); 1609 : : - 1610 : 575290 : prev_ssk = ssk; - 1611 [ + + ]: 575290 : ssk = mptcp_subflow_tcp_sock(subflow); - 1612 [ + + ]: 575290 : if (ssk != prev_ssk) { + 1610 : 523898 : prev_ssk = ssk; + 1611 [ + + ]: 523898 : ssk = mptcp_subflow_tcp_sock(subflow); + 1612 [ + + ]: 523898 : if (ssk != prev_ssk) { 1613 : : /* First check. If the ssk has changed since 1614 : : * the last round, release prev_ssk 1615 : : */ - 1616 [ + + ]: 559392 : if (prev_ssk) - 1617 : 44232 : mptcp_push_release(prev_ssk, &info); + 1616 [ + + ]: 513137 : if (prev_ssk) + 1617 : 44174 : mptcp_push_release(prev_ssk, &info); 1618 : : 1619 : : /* Need to lock the new subflow only if different 1620 : : * from the previous one, otherwise we are still 1621 : : * helding the relevant lock 1622 : : */ - 1623 : 559392 : lock_sock(ssk); + 1623 : 513137 : lock_sock(ssk); 1624 : : } 1625 : : - 1626 : 575290 : push_count++; + 1626 : 523898 : push_count++; 1627 : : - 1628 : 575290 : ret = __subflow_push_pending(sk, ssk, &info); - 1629 [ + + ]: 575290 : if (ret <= 0) { - 1630 [ - + - - ]: 152490 : if (ret != -EAGAIN || + 1628 : 523898 : ret = __subflow_push_pending(sk, ssk, &info); + 1629 [ + + ]: 523898 : if (ret <= 0) { + 1630 [ - + - - ]: 139919 : if (ret != -EAGAIN || 1631 [ # # ]: 0 : (1 << ssk->sk_state) & 1632 : : (TCPF_FIN_WAIT1 | TCPF_FIN_WAIT2 | TCPF_CLOSE)) - 1633 : 75242 : push_count--; - 1634 : 152490 : continue; + 1633 : 76853 : push_count--; + 1634 : 139919 : continue; 1635 : : } 1636 : : do_check_data_fin = true; 1637 : : } @@ -1722,82 +1722,82 @@ 1639 : : } 1640 : : 1641 : : /* at this point we held the socket lock for the last subflow we used */ - 1642 [ + + ]: 595452 : if (ssk) - 1643 : 515160 : mptcp_push_release(ssk, &info); + 1642 [ + + ]: 544882 : if (ssk) + 1643 : 468963 : mptcp_push_release(ssk, &info); 1644 : : 1645 : : /* ensure the rtx timer is running */ - 1646 [ + + ]: 595452 : if (!mptcp_rtx_timer_pending(sk)) - 1647 : 34559 : mptcp_reset_rtx_timer(sk); - 1648 [ + + ]: 595452 : if (do_check_data_fin) - 1649 : 406327 : mptcp_check_send_data_fin(sk); - 1650 : 595452 : } + 1646 [ + + ]: 544882 : if (!mptcp_rtx_timer_pending(sk)) + 1647 : 25485 : mptcp_reset_rtx_timer(sk); + 1648 [ + + ]: 544882 : if (do_check_data_fin) + 1649 : 372030 : mptcp_check_send_data_fin(sk); + 1650 : 544882 : } 1651 : : - 1652 : 100317 : static void __mptcp_subflow_push_pending(struct sock *sk, struct sock *ssk, bool first) + 1652 : 77806 : static void __mptcp_subflow_push_pending(struct sock *sk, struct sock *ssk, bool first) 1653 : : { - 1654 [ - + ]: 100317 : struct mptcp_sock *msk = mptcp_sk(sk); - 1655 : 100317 : struct mptcp_sendmsg_info info = { + 1654 [ - + ]: 77806 : struct mptcp_sock *msk = mptcp_sk(sk); + 1655 : 77806 : struct mptcp_sendmsg_info info = { 1656 : : .data_lock_held = true, 1657 : : }; - 1658 : 100317 : bool keep_pushing = true; - 1659 : 100317 : struct sock *xmit_ssk; - 1660 : 100317 : int copied = 0; + 1658 : 77806 : bool keep_pushing = true; + 1659 : 77806 : struct sock *xmit_ssk; + 1660 : 77806 : int copied = 0; 1661 : : - 1662 : 100317 : info.flags = 0; - 1663 [ + + + + ]: 198097 : while (mptcp_send_head(sk) && keep_pushing) { - 1664 [ + + ]: 156648 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); - 1665 : 156648 : int ret = 0; + 1662 : 77806 : info.flags = 0; + 1663 [ + + + + ]: 151633 : while (mptcp_send_head(sk) && keep_pushing) { + 1664 [ + + ]: 119594 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); + 1665 : 119594 : int ret = 0; 1666 : : 1667 : : /* check for a different subflow usage only after 1668 : : * spooling the first chunk of data 1669 : : */ - 1670 [ + + ]: 156648 : if (first) { - 1671 : 4112 : mptcp_subflow_set_scheduled(subflow, false); - 1672 : 4112 : ret = __subflow_push_pending(sk, ssk, &info); - 1673 : 4112 : first = false; - 1674 [ + + ]: 4112 : if (ret <= 0) + 1670 [ + + ]: 119594 : if (first) { + 1671 : 4129 : mptcp_subflow_set_scheduled(subflow, false); + 1672 : 4129 : ret = __subflow_push_pending(sk, ssk, &info); + 1673 : 4129 : first = false; + 1674 [ + + ]: 4129 : if (ret <= 0) 1675 : : break; - 1676 : 2505 : copied += ret; - 1677 : 2505 : continue; + 1676 : 2519 : copied += ret; + 1677 : 2519 : continue; 1678 : : } 1679 : : - 1680 [ + + ]: 152536 : if (mptcp_sched_get_send(msk)) - 1681 : 57261 : goto out; + 1680 [ + + ]: 115465 : if (mptcp_sched_get_send(msk)) + 1681 : 44157 : goto out; 1682 : : - 1683 [ + + + + ]: 95275 : if (READ_ONCE(subflow->scheduled)) { - 1684 : 90542 : mptcp_subflow_set_scheduled(subflow, false); - 1685 : 90542 : ret = __subflow_push_pending(sk, ssk, &info); - 1686 [ + + ]: 90542 : if (ret <= 0) - 1687 : 34059 : keep_pushing = false; - 1688 : 90542 : copied += ret; + 1683 [ + + + + ]: 71308 : if (READ_ONCE(subflow->scheduled)) { + 1684 : 66515 : mptcp_subflow_set_scheduled(subflow, false); + 1685 : 66515 : ret = __subflow_push_pending(sk, ssk, &info); + 1686 [ + + ]: 66515 : if (ret <= 0) + 1687 : 25309 : keep_pushing = false; + 1688 : 66515 : copied += ret; 1689 : : } 1690 : : - 1691 [ + + ]: 236527 : mptcp_for_each_subflow(msk, subflow) { - 1692 [ + + + + ]: 141252 : if (READ_ONCE(subflow->scheduled)) { - 1693 [ + - ]: 4733 : xmit_ssk = mptcp_subflow_tcp_sock(subflow); - 1694 [ + - ]: 4733 : if (xmit_ssk != ssk) { - 1695 : 4733 : mptcp_subflow_delegate(subflow, + 1691 [ + + ]: 182608 : mptcp_for_each_subflow(msk, subflow) { + 1692 [ + + + + ]: 111300 : if (READ_ONCE(subflow->scheduled)) { + 1693 [ + - ]: 4793 : xmit_ssk = mptcp_subflow_tcp_sock(subflow); + 1694 [ + - ]: 4793 : if (xmit_ssk != ssk) { + 1695 : 4793 : mptcp_subflow_delegate(subflow, 1696 : : MPTCP_DELEGATE_SEND); - 1697 : 4733 : keep_pushing = false; + 1697 : 4793 : keep_pushing = false; 1698 : : } 1699 : : } 1700 : : } 1701 : : } 1702 : : - 1703 : 43056 : out: + 1703 : 33649 : out: 1704 : : /* __mptcp_alloc_tx_skb could have released some wmem and we are 1705 : : * not going to flush it via release_sock() 1706 : : */ - 1707 [ + + ]: 100317 : if (copied) { - 1708 [ - + ]: 47632 : tcp_push(ssk, 0, info.mss_now, tcp_sk(ssk)->nonagle, + 1707 [ + + ]: 77806 : if (copied) { + 1708 [ - + ]: 35970 : tcp_push(ssk, 0, info.mss_now, tcp_sk(ssk)->nonagle, 1709 : : info.size_goal); - 1710 [ + + ]: 47632 : if (!mptcp_rtx_timer_pending(sk)) - 1711 : 58 : mptcp_reset_rtx_timer(sk); + 1710 [ + + ]: 35970 : if (!mptcp_rtx_timer_pending(sk)) + 1711 : 31 : mptcp_reset_rtx_timer(sk); 1712 : : - 1713 [ + + + + ]: 47632 : if (msk->snd_data_fin_enable && - 1714 [ + + ]: 7689 : msk->snd_nxt + 1 == msk->write_seq) - 1715 : 369 : mptcp_schedule_work(sk); + 1713 [ + + + + ]: 35970 : if (msk->snd_data_fin_enable && + 1714 [ + + ]: 5297 : msk->snd_nxt + 1 == msk->write_seq) + 1715 : 336 : mptcp_schedule_work(sk); 1716 : : } - 1717 : 100317 : } + 1717 : 77806 : } 1718 : : 1719 : : static int mptcp_disconnect(struct sock *sk, int flags); 1720 : : @@ -1857,13 +1857,13 @@ 1774 : 82 : return ret; 1775 : : } 1776 : : - 1777 : 687578 : static int do_copy_data_nocache(struct sock *sk, int copy, + 1777 : 607676 : static int do_copy_data_nocache(struct sock *sk, int copy, 1778 : : struct iov_iter *from, char *to) 1779 : : { - 1780 [ - + ]: 687578 : if (sk->sk_route_caps & NETIF_F_NOCACHE_COPY) { + 1780 [ - + ]: 607676 : if (sk->sk_route_caps & NETIF_F_NOCACHE_COPY) { 1781 [ # # ]: 0 : if (!copy_from_iter_full_nocache(to, copy, from)) 1782 : 0 : return -EFAULT; - 1783 [ - + ]: 687578 : } else if (!copy_from_iter_full(to, copy, from)) { + 1783 [ - + ]: 607676 : } else if (!copy_from_iter_full(to, copy, from)) { 1784 : 0 : return -EFAULT; 1785 : : } 1786 : : return 0; @@ -1874,16 +1874,16 @@ 1791 : : * Called under the msk socket lock, so we can avoid a bunch of ONCE 1792 : : * annotations. 1793 : : */ - 1794 : 691196 : static u32 mptcp_send_limit(const struct sock *sk) + 1794 : 609310 : static u32 mptcp_send_limit(const struct sock *sk) 1795 : : { - 1796 [ - + ]: 691196 : const struct mptcp_sock *msk = mptcp_sk(sk); - 1797 : 691196 : u32 limit, not_sent; + 1796 [ - + ]: 609310 : const struct mptcp_sock *msk = mptcp_sk(sk); + 1797 : 609310 : u32 limit, not_sent; 1798 : : - 1799 [ + + ]: 691196 : if (sk->sk_wmem_queued >= READ_ONCE(sk->sk_sndbuf)) + 1799 [ + + ]: 609310 : if (sk->sk_wmem_queued >= READ_ONCE(sk->sk_sndbuf)) 1800 : : return 0; 1801 : : - 1802 : 687578 : limit = mptcp_notsent_lowat(sk); - 1803 [ - + ]: 687578 : if (limit == UINT_MAX) + 1802 : 607676 : limit = mptcp_notsent_lowat(sk); + 1803 [ - + ]: 607676 : if (limit == UINT_MAX) 1804 : : return UINT_MAX; 1805 : : 1806 : 0 : not_sent = msk->write_seq - msk->snd_nxt; @@ -1893,20 +1893,20 @@ 1810 : 0 : return limit - not_sent; 1811 : : } 1812 : : - 1813 : 570004 : static int mptcp_sendmsg(struct sock *sk, struct msghdr *msg, size_t len) + 1813 : 522460 : static int mptcp_sendmsg(struct sock *sk, struct msghdr *msg, size_t len) 1814 : : { - 1815 [ - + ]: 570004 : struct mptcp_sock *msk = mptcp_sk(sk); - 1816 : 570004 : struct page_frag *pfrag; - 1817 : 570004 : size_t copied = 0; - 1818 : 570004 : int ret = 0; - 1819 : 570004 : long timeo; + 1815 [ - + ]: 522460 : struct mptcp_sock *msk = mptcp_sk(sk); + 1816 : 522460 : struct page_frag *pfrag; + 1817 : 522460 : size_t copied = 0; + 1818 : 522460 : int ret = 0; + 1819 : 522460 : long timeo; 1820 : : 1821 : : /* silently ignore everything else */ - 1822 : 570004 : msg->msg_flags &= MSG_MORE | MSG_DONTWAIT | MSG_NOSIGNAL | MSG_FASTOPEN; + 1822 : 522460 : msg->msg_flags &= MSG_MORE | MSG_DONTWAIT | MSG_NOSIGNAL | MSG_FASTOPEN; 1823 : : - 1824 : 570004 : lock_sock(sk); + 1824 : 522460 : lock_sock(sk); 1825 : : - 1826 [ + + + + ]: 570004 : if (unlikely(inet_test_bit(DEFER_CONNECT, sk) || + 1826 [ + + + + ]: 522460 : if (unlikely(inet_test_bit(DEFER_CONNECT, sk) || 1827 : : msg->msg_flags & MSG_FASTOPEN)) { 1828 : 88 : int copied_syn = 0; 1829 : : @@ -1918,160 +1918,160 @@ 1835 : 24 : goto do_error; 1836 : : } 1837 : : - 1838 [ + + ]: 569938 : timeo = sock_sndtimeo(sk, msg->msg_flags & MSG_DONTWAIT); + 1838 [ + + ]: 522394 : timeo = sock_sndtimeo(sk, msg->msg_flags & MSG_DONTWAIT); 1839 : : - 1840 [ + + + + ]: 569938 : if ((1 << sk->sk_state) & ~(TCPF_ESTABLISHED | TCPF_CLOSE_WAIT)) { - 1841 : 54 : ret = sk_stream_wait_connect(sk, &timeo); - 1842 [ + - ]: 54 : if (ret) - 1843 : 54 : goto do_error; + 1840 [ + + + + ]: 522394 : if ((1 << sk->sk_state) & ~(TCPF_ESTABLISHED | TCPF_CLOSE_WAIT)) { + 1841 : 53 : ret = sk_stream_wait_connect(sk, &timeo); + 1842 [ + - ]: 53 : if (ret) + 1843 : 53 : goto do_error; 1844 : : } 1845 : : - 1846 : 569884 : ret = -EPIPE; - 1847 [ + - - + ]: 569884 : if (unlikely(sk->sk_err || (sk->sk_shutdown & SEND_SHUTDOWN))) + 1846 : 522341 : ret = -EPIPE; + 1847 [ + - - + ]: 522341 : if (unlikely(sk->sk_err || (sk->sk_shutdown & SEND_SHUTDOWN))) 1848 : 0 : goto do_error; 1849 : : - 1850 [ + - ]: 569884 : pfrag = sk_page_frag(sk); + 1850 [ + - ]: 522341 : pfrag = sk_page_frag(sk); 1851 : : - 1852 [ + + ]: 1261080 : while (msg_data_left(msg)) { - 1853 : 691196 : int total_ts, frag_truesize = 0; - 1854 : 691196 : struct mptcp_data_frag *dfrag; - 1855 : 691196 : bool dfrag_collapsed; - 1856 : 691196 : size_t psize, offset; - 1857 : 691196 : u32 copy_limit; + 1852 [ + + ]: 1131651 : while (msg_data_left(msg)) { + 1853 : 609310 : int total_ts, frag_truesize = 0; + 1854 : 609310 : struct mptcp_data_frag *dfrag; + 1855 : 609310 : bool dfrag_collapsed; + 1856 : 609310 : size_t psize, offset; + 1857 : 609310 : u32 copy_limit; 1858 : : 1859 : : /* ensure fitting the notsent_lowat() constraint */ - 1860 : 691196 : copy_limit = mptcp_send_limit(sk); - 1861 [ + + ]: 691196 : if (!copy_limit) - 1862 : 3618 : goto wait_for_memory; + 1860 : 609310 : copy_limit = mptcp_send_limit(sk); + 1861 [ + + ]: 609310 : if (!copy_limit) + 1862 : 1634 : goto wait_for_memory; 1863 : : 1864 : : /* reuse tail pfrag, if possible, or carve a new one from the 1865 : : * page allocator 1866 : : */ - 1867 : 687578 : dfrag = mptcp_pending_tail(sk); - 1868 : 687578 : dfrag_collapsed = mptcp_frag_can_collapse_to(msk, pfrag, dfrag); - 1869 [ + + ]: 687578 : if (!dfrag_collapsed) { - 1870 [ - + ]: 519351 : if (!mptcp_page_frag_refill(sk, pfrag)) + 1867 : 607676 : dfrag = mptcp_pending_tail(sk); + 1868 : 607676 : dfrag_collapsed = mptcp_frag_can_collapse_to(msk, pfrag, dfrag); + 1869 [ + + ]: 607676 : if (!dfrag_collapsed) { + 1870 [ - + ]: 453109 : if (!mptcp_page_frag_refill(sk, pfrag)) 1871 : 0 : goto wait_for_memory; 1872 : : - 1873 : 519351 : dfrag = mptcp_carve_data_frag(msk, pfrag, pfrag->offset); - 1874 : 519351 : frag_truesize = dfrag->overhead; + 1873 : 453109 : dfrag = mptcp_carve_data_frag(msk, pfrag, pfrag->offset); + 1874 : 453109 : frag_truesize = dfrag->overhead; 1875 : : } 1876 : : 1877 : : /* we do not bound vs wspace, to allow a single packet. 1878 : : * memory accounting will prevent execessive memory usage 1879 : : * anyway 1880 : : */ - 1881 : 687578 : offset = dfrag->offset + dfrag->data_len; - 1882 : 687578 : psize = pfrag->size - offset; - 1883 : 687578 : psize = min_t(size_t, psize, msg_data_left(msg)); - 1884 : 687578 : psize = min_t(size_t, psize, copy_limit); - 1885 : 687578 : total_ts = psize + frag_truesize; + 1881 : 607676 : offset = dfrag->offset + dfrag->data_len; + 1882 : 607676 : psize = pfrag->size - offset; + 1883 : 607676 : psize = min_t(size_t, psize, msg_data_left(msg)); + 1884 : 607676 : psize = min_t(size_t, psize, copy_limit); + 1885 : 607676 : total_ts = psize + frag_truesize; 1886 : : - 1887 [ - + ]: 687578 : if (!sk_wmem_schedule(sk, total_ts)) + 1887 [ - + ]: 607676 : if (!sk_wmem_schedule(sk, total_ts)) 1888 : 0 : goto wait_for_memory; 1889 : : - 1890 : 949229 : ret = do_copy_data_nocache(sk, psize, &msg->msg_iter, - 1891 : 687578 : page_address(dfrag->page) + offset); - 1892 [ - + ]: 687578 : if (ret) + 1890 : 869250 : ret = do_copy_data_nocache(sk, psize, &msg->msg_iter, + 1891 : 607676 : page_address(dfrag->page) + offset); + 1892 [ - + ]: 607676 : if (ret) 1893 : 0 : goto do_error; 1894 : : 1895 : : /* data successfully copied into the write queue */ - 1896 [ + + ]: 687578 : sk_forward_alloc_add(sk, -total_ts); - 1897 : 687578 : copied += psize; - 1898 : 687578 : dfrag->data_len += psize; - 1899 : 687578 : frag_truesize += psize; - 1900 : 687578 : pfrag->offset += frag_truesize; - 1901 : 687578 : WRITE_ONCE(msk->write_seq, msk->write_seq + psize); + 1896 [ + + ]: 607676 : sk_forward_alloc_add(sk, -total_ts); + 1897 : 607676 : copied += psize; + 1898 : 607676 : dfrag->data_len += psize; + 1899 : 607676 : frag_truesize += psize; + 1900 : 607676 : pfrag->offset += frag_truesize; + 1901 : 607676 : WRITE_ONCE(msk->write_seq, msk->write_seq + psize); 1902 : : 1903 : : /* charge data on mptcp pending queue to the msk socket 1904 : : * Note: we charge such data both to sk and ssk 1905 : : */ - 1906 [ + + ]: 687578 : sk_wmem_queued_add(sk, frag_truesize); - 1907 [ + + ]: 687578 : if (!dfrag_collapsed) { - 1908 : 519351 : get_page(dfrag->page); - 1909 [ + + ]: 519351 : list_add_tail(&dfrag->list, &msk->rtx_queue); - 1910 [ + + ]: 519351 : if (!msk->first_pending) - 1911 : 402583 : WRITE_ONCE(msk->first_pending, dfrag); + 1906 [ + + ]: 607676 : sk_wmem_queued_add(sk, frag_truesize); + 1907 [ + + ]: 607676 : if (!dfrag_collapsed) { + 1908 : 453109 : get_page(dfrag->page); + 1909 [ + + ]: 453109 : list_add_tail(&dfrag->list, &msk->rtx_queue); + 1910 [ + + ]: 453109 : if (!msk->first_pending) + 1911 : 368414 : WRITE_ONCE(msk->first_pending, dfrag); 1912 : : } - 1913 [ - + ]: 687578 : pr_debug("msk=%p dfrag at seq=%llu len=%u sent=%u new=%d\n", msk, + 1913 [ - + ]: 607676 : pr_debug("msk=%p dfrag at seq=%llu len=%u sent=%u new=%d\n", msk, 1914 : : dfrag->data_seq, dfrag->data_len, dfrag->already_sent, 1915 : : !dfrag_collapsed); 1916 : : - 1917 : 687578 : continue; + 1917 : 607676 : continue; 1918 : : - 1919 : 3618 : wait_for_memory: - 1920 : 3618 : set_bit(SOCK_NOSPACE, &sk->sk_socket->flags); - 1921 : 3618 : __mptcp_push_pending(sk, msg->msg_flags); - 1922 : 3618 : ret = sk_stream_wait_memory(sk, &timeo); - 1923 [ - + ]: 3618 : if (ret) + 1919 : 1634 : wait_for_memory: + 1920 : 1634 : set_bit(SOCK_NOSPACE, &sk->sk_socket->flags); + 1921 : 1634 : __mptcp_push_pending(sk, msg->msg_flags); + 1922 : 1634 : ret = sk_stream_wait_memory(sk, &timeo); + 1923 [ - + ]: 1634 : if (ret) 1924 : 0 : goto do_error; 1925 : : } 1926 : : - 1927 [ + + ]: 569884 : if (copied) - 1928 : 569862 : __mptcp_push_pending(sk, msg->msg_flags); + 1927 [ + + ]: 522341 : if (copied) + 1928 : 522329 : __mptcp_push_pending(sk, msg->msg_flags); 1929 : : - 1930 : 22 : out: - 1931 : 570004 : release_sock(sk); - 1932 : 570004 : return copied; + 1930 : 12 : out: + 1931 : 522460 : release_sock(sk); + 1932 : 522460 : return copied; 1933 : : - 1934 : 78 : do_error: - 1935 [ - + ]: 78 : if (copied) + 1934 : 77 : do_error: + 1935 [ - + ]: 77 : if (copied) 1936 : 0 : goto out; 1937 : : - 1938 : 78 : copied = sk_stream_error(sk, msg->msg_flags, ret); - 1939 : 78 : goto out; + 1938 : 77 : copied = sk_stream_error(sk, msg->msg_flags, ret); + 1939 : 77 : goto out; 1940 : : } 1941 : : - 1942 : 962608 : static int __mptcp_recvmsg_mskq(struct mptcp_sock *msk, + 1942 : 812854 : static int __mptcp_recvmsg_mskq(struct mptcp_sock *msk, 1943 : : struct msghdr *msg, 1944 : : size_t len, int flags, 1945 : : struct scm_timestamping_internal *tss, 1946 : : int *cmsg_flags) 1947 : : { - 1948 : 962608 : struct sk_buff *skb, *tmp; - 1949 : 962608 : int copied = 0; + 1948 : 812854 : struct sk_buff *skb, *tmp; + 1949 : 812854 : int copied = 0; 1950 : : - 1951 [ + + ]: 1198946 : skb_queue_walk_safe(&msk->receive_queue, skb, tmp) { - 1952 : 829208 : u32 offset = MPTCP_SKB_CB(skb)->offset; - 1953 : 829208 : u32 data_len = skb->len - offset; - 1954 : 829208 : u32 count = min_t(size_t, len - copied, data_len); - 1955 : 829208 : int err; + 1951 [ + + ]: 996756 : skb_queue_walk_safe(&msk->receive_queue, skb, tmp) { + 1952 : 686682 : u32 offset = MPTCP_SKB_CB(skb)->offset; + 1953 : 686682 : u32 data_len = skb->len - offset; + 1954 : 686682 : u32 count = min_t(size_t, len - copied, data_len); + 1955 : 686682 : int err; 1956 : : - 1957 [ + - ]: 829208 : if (!(flags & MSG_TRUNC)) { - 1958 : 829208 : err = skb_copy_datagram_msg(skb, offset, msg, count); - 1959 [ - + ]: 829208 : if (unlikely(err < 0)) { + 1957 [ + - ]: 686682 : if (!(flags & MSG_TRUNC)) { + 1958 : 686682 : err = skb_copy_datagram_msg(skb, offset, msg, count); + 1959 [ - + ]: 686682 : if (unlikely(err < 0)) { 1960 [ # # ]: 0 : if (!copied) 1961 : 0 : return err; 1962 : : break; 1963 : : } 1964 : : } 1965 : : - 1966 [ + + ]: 829208 : if (MPTCP_SKB_CB(skb)->has_rxtstamp) { + 1966 [ + + ]: 686682 : if (MPTCP_SKB_CB(skb)->has_rxtstamp) { 1967 : 598 : tcp_update_recv_tstamps(skb, tss); 1968 : 598 : *cmsg_flags |= MPTCP_CMSG_TS; 1969 : : } 1970 : : - 1971 : 829208 : copied += count; + 1971 : 686682 : copied += count; 1972 : : - 1973 [ + + ]: 829208 : if (count < data_len) { - 1974 [ + + ]: 524991 : if (!(flags & MSG_PEEK)) { - 1975 : 502278 : MPTCP_SKB_CB(skb)->offset += count; - 1976 : 502278 : MPTCP_SKB_CB(skb)->map_seq += count; - 1977 : 502278 : msk->bytes_consumed += count; + 1973 [ + + ]: 686682 : if (count < data_len) { + 1974 [ + + ]: 438549 : if (!(flags & MSG_PEEK)) { + 1975 : 421238 : MPTCP_SKB_CB(skb)->offset += count; + 1976 : 421238 : MPTCP_SKB_CB(skb)->map_seq += count; + 1977 : 421238 : msk->bytes_consumed += count; 1978 : : } 1979 : : break; 1980 : : } 1981 : : - 1982 [ + + ]: 304217 : if (!(flags & MSG_PEEK)) { + 1982 [ + + ]: 248133 : if (!(flags & MSG_PEEK)) { 1983 : : /* we will bulk release the skb memory later */ - 1984 : 301213 : skb->destructor = NULL; - 1985 : 301213 : WRITE_ONCE(msk->rmem_released, msk->rmem_released + skb->truesize); - 1986 : 301213 : __skb_unlink(skb, &msk->receive_queue); - 1987 : 301213 : __kfree_skb(skb); - 1988 : 301213 : msk->bytes_consumed += count; + 1984 : 246095 : skb->destructor = NULL; + 1985 : 246095 : WRITE_ONCE(msk->rmem_released, msk->rmem_released + skb->truesize); + 1986 : 246095 : __skb_unlink(skb, &msk->receive_queue); + 1987 : 246095 : __kfree_skb(skb); + 1988 : 246095 : msk->bytes_consumed += count; 1989 : : } 1990 : : - 1991 [ + + ]: 304217 : if (copied >= len) + 1991 [ + + ]: 248133 : if (copied >= len) 1992 : : break; 1993 : : } 1994 : : @@ -2082,162 +2082,162 @@ 1999 : : * 2000 : : * Only difference: Use highest rtt estimate of the subflows in use. 2001 : : */ - 2002 : 766566 : static void mptcp_rcv_space_adjust(struct mptcp_sock *msk, int copied) + 2002 : 647979 : static void mptcp_rcv_space_adjust(struct mptcp_sock *msk, int copied) 2003 : : { - 2004 : 766566 : struct mptcp_subflow_context *subflow; - 2005 : 766566 : struct sock *sk = (struct sock *)msk; - 2006 : 766566 : u8 scaling_ratio = U8_MAX; - 2007 : 766566 : u32 time, advmss = 1; - 2008 : 766566 : u64 rtt_us, mstamp; + 2004 : 647979 : struct mptcp_subflow_context *subflow; + 2005 : 647979 : struct sock *sk = (struct sock *)msk; + 2006 : 647979 : u8 scaling_ratio = U8_MAX; + 2007 : 647979 : u32 time, advmss = 1; + 2008 : 647979 : u64 rtt_us, mstamp; 2009 : : - 2010 : 766566 : msk_owned_by_me(msk); + 2010 : 647979 : msk_owned_by_me(msk); 2011 : : - 2012 [ + + ]: 766566 : if (copied <= 0) + 2012 [ + + ]: 647979 : if (copied <= 0) 2013 : : return; 2014 : : - 2015 [ - + ]: 739371 : if (!msk->rcvspace_init) + 2015 [ - + ]: 624044 : if (!msk->rcvspace_init) 2016 : 0 : mptcp_rcv_space_init(msk, msk->first); 2017 : : - 2018 : 739371 : msk->rcvq_space.copied += copied; + 2018 : 624044 : msk->rcvq_space.copied += copied; 2019 : : - 2020 [ + + ]: 739371 : mstamp = div_u64(tcp_clock_ns(), NSEC_PER_USEC); - 2021 [ + + ]: 739371 : time = tcp_stamp_us_delta(mstamp, msk->rcvq_space.time); + 2020 [ + + ]: 624044 : mstamp = div_u64(tcp_clock_ns(), NSEC_PER_USEC); + 2021 [ + + ]: 624044 : time = tcp_stamp_us_delta(mstamp, msk->rcvq_space.time); 2022 : : - 2023 : 739371 : rtt_us = msk->rcvq_space.rtt_us; - 2024 [ + + + + ]: 739371 : if (rtt_us && time < (rtt_us >> 3)) + 2023 : 624044 : rtt_us = msk->rcvq_space.rtt_us; + 2024 [ + + + + ]: 624044 : if (rtt_us && time < (rtt_us >> 3)) 2025 : : return; 2026 : : - 2027 : 91295 : rtt_us = 0; - 2028 [ + + ]: 203317 : mptcp_for_each_subflow(msk, subflow) { - 2029 : 112022 : const struct tcp_sock *tp; - 2030 : 112022 : u64 sf_rtt_us; - 2031 : 112022 : u32 sf_advmss; + 2027 : 57209 : rtt_us = 0; + 2028 [ + + ]: 134591 : mptcp_for_each_subflow(msk, subflow) { + 2029 : 77382 : const struct tcp_sock *tp; + 2030 : 77382 : u64 sf_rtt_us; + 2031 : 77382 : u32 sf_advmss; 2032 : : - 2033 [ - + ]: 112022 : tp = tcp_sk(mptcp_subflow_tcp_sock(subflow)); + 2033 [ - + ]: 77382 : tp = tcp_sk(mptcp_subflow_tcp_sock(subflow)); 2034 : : - 2035 : 112022 : sf_rtt_us = READ_ONCE(tp->rcv_rtt_est.rtt_us); - 2036 : 112022 : sf_advmss = READ_ONCE(tp->advmss); + 2035 : 77382 : sf_rtt_us = READ_ONCE(tp->rcv_rtt_est.rtt_us); + 2036 : 77382 : sf_advmss = READ_ONCE(tp->advmss); 2037 : : - 2038 : 112022 : rtt_us = max(sf_rtt_us, rtt_us); - 2039 : 112022 : advmss = max(sf_advmss, advmss); - 2040 : 112022 : scaling_ratio = min(tp->scaling_ratio, scaling_ratio); + 2038 : 77382 : rtt_us = max(sf_rtt_us, rtt_us); + 2039 : 77382 : advmss = max(sf_advmss, advmss); + 2040 : 77382 : scaling_ratio = min(tp->scaling_ratio, scaling_ratio); 2041 : : } 2042 : : - 2043 : 91295 : msk->rcvq_space.rtt_us = rtt_us; - 2044 : 91295 : msk->scaling_ratio = scaling_ratio; - 2045 [ + + + + ]: 91295 : if (time < (rtt_us >> 3) || rtt_us == 0) + 2043 : 57209 : msk->rcvq_space.rtt_us = rtt_us; + 2044 : 57209 : msk->scaling_ratio = scaling_ratio; + 2045 [ + + + + ]: 57209 : if (time < (rtt_us >> 3) || rtt_us == 0) 2046 : : return; 2047 : : - 2048 [ + + ]: 77784 : if (msk->rcvq_space.copied <= msk->rcvq_space.space) - 2049 : 74299 : goto new_measure; + 2048 [ + + ]: 44829 : if (msk->rcvq_space.copied <= msk->rcvq_space.space) + 2049 : 41977 : goto new_measure; 2050 : : - 2051 [ + - ]: 3485 : if (READ_ONCE(sock_net(sk)->ipv4.sysctl_tcp_moderate_rcvbuf) && - 2052 [ + - ]: 3485 : !(sk->sk_userlocks & SOCK_RCVBUF_LOCK)) { - 2053 : 3485 : u64 rcvwin, grow; - 2054 : 3485 : int rcvbuf; + 2051 [ + - ]: 2852 : if (READ_ONCE(sock_net(sk)->ipv4.sysctl_tcp_moderate_rcvbuf) && + 2052 [ + - ]: 2852 : !(sk->sk_userlocks & SOCK_RCVBUF_LOCK)) { + 2053 : 2852 : u64 rcvwin, grow; + 2054 : 2852 : int rcvbuf; 2055 : : - 2056 : 3485 : rcvwin = ((u64)msk->rcvq_space.copied << 1) + 16 * advmss; + 2056 : 2852 : rcvwin = ((u64)msk->rcvq_space.copied << 1) + 16 * advmss; 2057 : : - 2058 : 3485 : grow = rcvwin * (msk->rcvq_space.copied - msk->rcvq_space.space); + 2058 : 2852 : grow = rcvwin * (msk->rcvq_space.copied - msk->rcvq_space.space); 2059 : : - 2060 : 3485 : do_div(grow, msk->rcvq_space.space); - 2061 : 3485 : rcvwin += (grow << 1); + 2060 : 2852 : do_div(grow, msk->rcvq_space.space); + 2061 : 2852 : rcvwin += (grow << 1); 2062 : : - 2063 [ + + ]: 3485 : rcvbuf = min_t(u64, mptcp_space_from_win(sk, rcvwin), + 2063 [ + + ]: 2852 : rcvbuf = min_t(u64, mptcp_space_from_win(sk, rcvwin), 2064 : : READ_ONCE(sock_net(sk)->ipv4.sysctl_tcp_rmem[2])); 2065 : : - 2066 [ + + ]: 3485 : if (rcvbuf > sk->sk_rcvbuf) { - 2067 : 1217 : u32 window_clamp; + 2066 [ + + ]: 2852 : if (rcvbuf > sk->sk_rcvbuf) { + 2067 : 1196 : u32 window_clamp; 2068 : : - 2069 : 1217 : window_clamp = mptcp_win_from_space(sk, rcvbuf); - 2070 : 1217 : WRITE_ONCE(sk->sk_rcvbuf, rcvbuf); + 2069 : 1196 : window_clamp = mptcp_win_from_space(sk, rcvbuf); + 2070 : 1196 : WRITE_ONCE(sk->sk_rcvbuf, rcvbuf); 2071 : : 2072 : : /* Make subflows follow along. If we do not do this, we 2073 : : * get drops at subflow level if skbs can't be moved to 2074 : : * the mptcp rx queue fast enough (announced rcv_win can 2075 : : * exceed ssk->sk_rcvbuf). 2076 : : */ - 2077 [ + + ]: 2567 : mptcp_for_each_subflow(msk, subflow) { - 2078 : 1350 : struct sock *ssk; - 2079 : 1350 : bool slow; + 2077 [ + + ]: 2526 : mptcp_for_each_subflow(msk, subflow) { + 2078 : 1330 : struct sock *ssk; + 2079 : 1330 : bool slow; 2080 : : - 2081 : 1350 : ssk = mptcp_subflow_tcp_sock(subflow); - 2082 : 1350 : slow = lock_sock_fast(ssk); - 2083 : 1350 : WRITE_ONCE(ssk->sk_rcvbuf, rcvbuf); - 2084 [ - + ]: 1350 : WRITE_ONCE(tcp_sk(ssk)->window_clamp, window_clamp); - 2085 [ + + ]: 1350 : if (tcp_can_send_ack(ssk)) - 2086 : 1348 : tcp_cleanup_rbuf(ssk, 1); - 2087 : 1350 : unlock_sock_fast(ssk, slow); + 2081 : 1330 : ssk = mptcp_subflow_tcp_sock(subflow); + 2082 : 1330 : slow = lock_sock_fast(ssk); + 2083 : 1330 : WRITE_ONCE(ssk->sk_rcvbuf, rcvbuf); + 2084 [ - + ]: 1330 : WRITE_ONCE(tcp_sk(ssk)->window_clamp, window_clamp); + 2085 [ + + ]: 1330 : if (tcp_can_send_ack(ssk)) + 2086 : 1327 : tcp_cleanup_rbuf(ssk, 1); + 2087 : 1330 : unlock_sock_fast(ssk, slow); 2088 : : } 2089 : : } 2090 : : } 2091 : : - 2092 : 3485 : msk->rcvq_space.space = msk->rcvq_space.copied; - 2093 : 77784 : new_measure: - 2094 : 77784 : msk->rcvq_space.copied = 0; - 2095 : 77784 : msk->rcvq_space.time = mstamp; + 2092 : 2852 : msk->rcvq_space.space = msk->rcvq_space.copied; + 2093 : 44829 : new_measure: + 2094 : 44829 : msk->rcvq_space.copied = 0; + 2095 : 44829 : msk->rcvq_space.time = mstamp; 2096 : : } 2097 : : - 2098 : 1652842 : static void __mptcp_update_rmem(struct sock *sk) + 2098 : 1446215 : static void __mptcp_update_rmem(struct sock *sk) 2099 : : { - 2100 [ - + ]: 1652842 : struct mptcp_sock *msk = mptcp_sk(sk); + 2100 [ - + ]: 1446215 : struct mptcp_sock *msk = mptcp_sk(sk); 2101 : : - 2102 [ + + ]: 1652842 : if (!msk->rmem_released) + 2102 [ + + ]: 1446215 : if (!msk->rmem_released) 2103 : : return; 2104 : : - 2105 : 281071 : atomic_sub(msk->rmem_released, &sk->sk_rmem_alloc); - 2106 : 281071 : mptcp_rmem_uncharge(sk, msk->rmem_released); - 2107 : 281071 : WRITE_ONCE(msk->rmem_released, 0); + 2105 : 233166 : atomic_sub(msk->rmem_released, &sk->sk_rmem_alloc); + 2106 : 233166 : mptcp_rmem_uncharge(sk, msk->rmem_released); + 2107 : 233166 : WRITE_ONCE(msk->rmem_released, 0); 2108 : : } 2109 : : - 2110 : 267213 : static void __mptcp_splice_receive_queue(struct sock *sk) + 2110 : 232039 : static void __mptcp_splice_receive_queue(struct sock *sk) 2111 : : { - 2112 [ - + ]: 267213 : struct mptcp_sock *msk = mptcp_sk(sk); + 2112 [ - + ]: 232039 : struct mptcp_sock *msk = mptcp_sk(sk); 2113 : : - 2114 : 267213 : skb_queue_splice_tail_init(&sk->sk_receive_queue, &msk->receive_queue); - 2115 : 267213 : } + 2114 : 232039 : skb_queue_splice_tail_init(&sk->sk_receive_queue, &msk->receive_queue); + 2115 : 232039 : } 2116 : : - 2117 : 417492 : static bool __mptcp_move_skbs(struct mptcp_sock *msk) + 2117 : 354990 : static bool __mptcp_move_skbs(struct mptcp_sock *msk) 2118 : : { - 2119 : 417492 : struct sock *sk = (struct sock *)msk; - 2120 : 417492 : unsigned int moved = 0; - 2121 : 417492 : bool ret, done; + 2119 : 354990 : struct sock *sk = (struct sock *)msk; + 2120 : 354990 : unsigned int moved = 0; + 2121 : 354990 : bool ret, done; 2122 : : - 2123 : 417557 : do { - 2124 : 417557 : struct sock *ssk = mptcp_subflow_recv_lookup(msk); - 2125 : 417557 : bool slowpath; + 2123 : 355012 : do { + 2124 : 355012 : struct sock *ssk = mptcp_subflow_recv_lookup(msk); + 2125 : 355012 : bool slowpath; 2126 : : 2127 : : /* we can have data pending in the subflows only if the msk 2128 : : * receive buffer was full at subflow_data_ready() time, 2129 : : * that is an unlikely slow path. 2130 : : */ - 2131 [ + + ]: 417557 : if (likely(!ssk)) + 2131 [ + + ]: 355012 : if (likely(!ssk)) 2132 : : break; 2133 : : - 2134 : 516 : slowpath = lock_sock_fast(ssk); - 2135 : 516 : mptcp_data_lock(sk); - 2136 : 516 : __mptcp_update_rmem(sk); - 2137 : 516 : done = __mptcp_move_skbs_from_subflow(msk, ssk, &moved); - 2138 : 516 : mptcp_data_unlock(sk); + 2134 : 655 : slowpath = lock_sock_fast(ssk); + 2135 : 655 : mptcp_data_lock(sk); + 2136 : 655 : __mptcp_update_rmem(sk); + 2137 : 655 : done = __mptcp_move_skbs_from_subflow(msk, ssk, &moved); + 2138 : 655 : mptcp_data_unlock(sk); 2139 : : - 2140 [ - + ]: 516 : if (unlikely(ssk->sk_err)) + 2140 [ - + ]: 655 : if (unlikely(ssk->sk_err)) 2141 : 0 : __mptcp_error_report(sk); - 2142 : 516 : unlock_sock_fast(ssk, slowpath); - 2143 [ + + ]: 516 : } while (!done); + 2142 : 655 : unlock_sock_fast(ssk, slowpath); + 2143 [ + + ]: 655 : } while (!done); 2144 : : 2145 : : /* acquire the data lock only if some input data is pending */ - 2146 : 417492 : ret = moved > 0; - 2147 [ + + + + ]: 417492 : if (!RB_EMPTY_ROOT(&msk->out_of_order_queue) || - 2148 [ + + ]: 308329 : !skb_queue_empty_lockless(&sk->sk_receive_queue)) { - 2149 : 267213 : mptcp_data_lock(sk); - 2150 : 267213 : __mptcp_update_rmem(sk); - 2151 : 267213 : ret |= __mptcp_ofo_queue(msk); - 2152 : 267213 : __mptcp_splice_receive_queue(sk); - 2153 : 267213 : mptcp_data_unlock(sk); + 2146 : 354990 : ret = moved > 0; + 2147 [ + + + + ]: 354990 : if (!RB_EMPTY_ROOT(&msk->out_of_order_queue) || + 2148 [ + + ]: 257383 : !skb_queue_empty_lockless(&sk->sk_receive_queue)) { + 2149 : 232039 : mptcp_data_lock(sk); + 2150 : 232039 : __mptcp_update_rmem(sk); + 2151 : 232039 : ret |= __mptcp_ofo_queue(msk); + 2152 : 232039 : __mptcp_splice_receive_queue(sk); + 2153 : 232039 : mptcp_data_unlock(sk); 2154 : : } - 2155 [ + + ]: 417492 : if (ret) - 2156 : 69 : mptcp_check_data_fin((struct sock *)msk); - 2157 : 417492 : return !skb_queue_empty(&msk->receive_queue); + 2155 [ + + ]: 354990 : if (ret) + 2156 : 24 : mptcp_check_data_fin((struct sock *)msk); + 2157 : 354990 : return !skb_queue_empty(&msk->receive_queue); 2158 : : } 2159 : : 2160 : 432 : static unsigned int mptcp_inq_hint(const struct sock *sk) @@ -2255,64 +2255,64 @@ 2172 : 0 : return (unsigned int)hint_val; 2173 : : } 2174 : : - 2175 [ + + + + ]: 432 : if (sk->sk_state == TCP_CLOSE || (sk->sk_shutdown & RCV_SHUTDOWN)) + 2175 [ + + + + ]: 432 : if (sk->sk_state == TCP_CLOSE || (sk->sk_shutdown & RCV_SHUTDOWN)) 2176 : 8 : return 1; 2177 : : 2178 : : return 0; 2179 : : } 2180 : : - 2181 : 740810 : static int mptcp_recvmsg(struct sock *sk, struct msghdr *msg, size_t len, + 2181 : 625479 : static int mptcp_recvmsg(struct sock *sk, struct msghdr *msg, size_t len, 2182 : : int flags, int *addr_len) 2183 : : { - 2184 [ - + ]: 740810 : struct mptcp_sock *msk = mptcp_sk(sk); - 2185 : 740810 : struct scm_timestamping_internal tss; - 2186 : 740810 : int copied = 0, cmsg_flags = 0; - 2187 : 740810 : int target; - 2188 : 740810 : long timeo; + 2184 [ - + ]: 625479 : struct mptcp_sock *msk = mptcp_sk(sk); + 2185 : 625479 : struct scm_timestamping_internal tss; + 2186 : 625479 : int copied = 0, cmsg_flags = 0; + 2187 : 625479 : int target; + 2188 : 625479 : long timeo; 2189 : : 2190 : : /* MSG_ERRQUEUE is really a no-op till we support IP_RECVERR */ - 2191 [ - + ]: 740810 : if (unlikely(flags & MSG_ERRQUEUE)) + 2191 [ - + ]: 625479 : if (unlikely(flags & MSG_ERRQUEUE)) 2192 : 0 : return inet_recv_error(sk, msg, len, addr_len); 2193 : : - 2194 : 740810 : lock_sock(sk); - 2195 [ - + ]: 740810 : if (unlikely(sk->sk_state == TCP_LISTEN)) { + 2194 : 625479 : lock_sock(sk); + 2195 [ - + ]: 625479 : if (unlikely(sk->sk_state == TCP_LISTEN)) { 2196 : 0 : copied = -ENOTCONN; 2197 : 0 : goto out_err; 2198 : : } 2199 : : - 2200 [ + + ]: 740810 : timeo = sock_rcvtimeo(sk, flags & MSG_DONTWAIT); + 2200 [ + + ]: 625479 : timeo = sock_rcvtimeo(sk, flags & MSG_DONTWAIT); 2201 : : - 2202 : 740810 : len = min_t(size_t, len, INT_MAX); - 2203 [ + - ]: 740810 : target = sock_rcvlowat(sk, flags & MSG_WAITALL, len); + 2202 : 625479 : len = min_t(size_t, len, INT_MAX); + 2203 [ + - ]: 625479 : target = sock_rcvlowat(sk, flags & MSG_WAITALL, len); 2204 : : - 2205 [ + + ]: 740810 : if (unlikely(msk->recvmsg_inq)) + 2205 [ + + ]: 625479 : if (unlikely(msk->recvmsg_inq)) 2206 : 432 : cmsg_flags = MPTCP_CMSG_INQ; 2207 : : - 2208 [ + + ]: 979785 : while (copied < len) { - 2209 : 962608 : int err, bytes_read; + 2208 [ + + ]: 831840 : while (copied < len) { + 2209 : 812854 : int err, bytes_read; 2210 : : - 2211 : 962608 : bytes_read = __mptcp_recvmsg_mskq(msk, msg, len - copied, flags, &tss, &cmsg_flags); - 2212 [ - + ]: 962608 : if (unlikely(bytes_read < 0)) { + 2211 : 812854 : bytes_read = __mptcp_recvmsg_mskq(msk, msg, len - copied, flags, &tss, &cmsg_flags); + 2212 [ - + ]: 812854 : if (unlikely(bytes_read < 0)) { 2213 [ # # ]: 0 : if (!copied) 2214 : 0 : copied = bytes_read; 2215 : 0 : goto out_err; 2216 : : } 2217 : : - 2218 : 962608 : copied += bytes_read; + 2218 : 812854 : copied += bytes_read; 2219 : : 2220 : : /* be sure to advertise window change */ - 2221 : 962608 : mptcp_cleanup_rbuf(msk); + 2221 : 812854 : mptcp_cleanup_rbuf(msk); 2222 : : - 2223 [ + + + + ]: 962608 : if (skb_queue_empty(&msk->receive_queue) && __mptcp_move_skbs(msk)) - 2224 : 213219 : continue; + 2223 [ + + + + ]: 812854 : if (skb_queue_empty(&msk->receive_queue) && __mptcp_move_skbs(msk)) + 2224 : 183861 : continue; 2225 : : 2226 : : /* only the MPTCP socket status is relevant here. The exit 2227 : : * conditions mirror closely tcp_recvmsg() 2228 : : */ - 2229 [ + + ]: 749389 : if (copied >= target) + 2229 [ + + ]: 628993 : if (copied >= target) 2230 : : break; 2231 : : - 2232 [ - + ]: 27183 : if (copied) { + 2232 [ - + ]: 23923 : if (copied) { 2233 [ # # ]: 0 : if (sk->sk_err || 2234 [ # # ]: 0 : sk->sk_state == TCP_CLOSE || 2235 [ # # ]: 0 : (sk->sk_shutdown & RCV_SHUTDOWN) || @@ -2320,49 +2320,49 @@ 2237 : 0 : signal_pending(current)) 2238 : : break; 2239 : : } else { - 2240 [ + + ]: 27183 : if (sk->sk_err) { - 2241 : 8 : copied = sock_error(sk); - 2242 : 8 : break; + 2240 [ + + ]: 23923 : if (sk->sk_err) { + 2241 : 3 : copied = sock_error(sk); + 2242 : 3 : break; 2243 : : } 2244 : : - 2245 [ + + ]: 27175 : if (sk->sk_shutdown & RCV_SHUTDOWN) { + 2245 [ + + ]: 23920 : if (sk->sk_shutdown & RCV_SHUTDOWN) { 2246 : : /* race breaker: the shutdown could be after the 2247 : : * previous receive queue check 2248 : : */ - 2249 [ - + ]: 1401 : if (__mptcp_move_skbs(msk)) + 2249 [ - + ]: 1402 : if (__mptcp_move_skbs(msk)) 2250 : 0 : continue; 2251 : : break; 2252 : : } 2253 : : - 2254 [ + + ]: 25774 : if (sk->sk_state == TCP_CLOSE) { + 2254 [ + + ]: 22518 : if (sk->sk_state == TCP_CLOSE) { 2255 : : copied = -ENOTCONN; 2256 : : break; 2257 : : } 2258 : : - 2259 [ + - ]: 25756 : if (!timeo) { + 2259 [ + - ]: 22500 : if (!timeo) { 2260 : : copied = -EAGAIN; 2261 : : break; 2262 : : } 2263 : : - 2264 [ - + ]: 25756 : if (signal_pending(current)) { + 2264 [ - + ]: 22500 : if (signal_pending(current)) { 2265 [ # # ]: 0 : copied = sock_intr_errno(timeo); 2266 : : break; 2267 : : } 2268 : : } 2269 : : - 2270 [ - + ]: 25756 : pr_debug("block timeout %ld\n", timeo); - 2271 : 25756 : mptcp_rcv_space_adjust(msk, copied); - 2272 : 25756 : err = sk_wait_data(sk, &timeo, NULL); - 2273 [ - + ]: 25756 : if (err < 0) { + 2270 [ - + ]: 22500 : pr_debug("block timeout %ld\n", timeo); + 2271 : 22500 : mptcp_rcv_space_adjust(msk, copied); + 2272 : 22500 : err = sk_wait_data(sk, &timeo, NULL); + 2273 [ - + ]: 22500 : if (err < 0) { 2274 : 0 : err = copied ? : err; 2275 : 0 : goto out_err; 2276 : : } 2277 : : } 2278 : : - 2279 : 740810 : mptcp_rcv_space_adjust(msk, copied); + 2279 : 625479 : mptcp_rcv_space_adjust(msk, copied); 2280 : : - 2281 : 740810 : out_err: - 2282 [ + + + - ]: 740810 : if (cmsg_flags && copied >= 0) { + 2281 : 625479 : out_err: + 2282 [ + + + - ]: 625479 : if (cmsg_flags && copied >= 0) { 2283 [ + + ]: 582 : if (cmsg_flags & MPTCP_CMSG_TS) 2284 : 574 : tcp_recv_timestamp(msg, sk, &tss); 2285 : : @@ -2373,34 +2373,34 @@ 2290 : : } 2291 : : } 2292 : : - 2293 [ - + ]: 740810 : pr_debug("msk=%p rx queue empty=%d:%d copied=%d\n", + 2293 [ - + ]: 625479 : pr_debug("msk=%p rx queue empty=%d:%d copied=%d\n", 2294 : : msk, skb_queue_empty_lockless(&sk->sk_receive_queue), 2295 : : skb_queue_empty(&msk->receive_queue), copied); 2296 : : - 2297 : 740810 : release_sock(sk); - 2298 : 740810 : return copied; + 2297 : 625479 : release_sock(sk); + 2298 : 625479 : return copied; 2299 : : } 2300 : : - 2301 : 13284 : static void mptcp_retransmit_timer(struct timer_list *t) + 2301 : 9542 : static void mptcp_retransmit_timer(struct timer_list *t) 2302 : : { - 2303 : 13284 : struct inet_connection_sock *icsk = from_timer(icsk, t, + 2303 : 9542 : struct inet_connection_sock *icsk = from_timer(icsk, t, 2304 : : icsk_retransmit_timer); - 2305 : 13284 : struct sock *sk = &icsk->icsk_inet.sk; - 2306 [ - + ]: 13284 : struct mptcp_sock *msk = mptcp_sk(sk); + 2305 : 9542 : struct sock *sk = &icsk->icsk_inet.sk; + 2306 [ - + ]: 9542 : struct mptcp_sock *msk = mptcp_sk(sk); 2307 : : - 2308 : 13284 : bh_lock_sock(sk); - 2309 [ + + ]: 13284 : if (!sock_owned_by_user(sk)) { + 2308 : 9542 : bh_lock_sock(sk); + 2309 [ + + ]: 9542 : if (!sock_owned_by_user(sk)) { 2310 : : /* we need a process context to retransmit */ - 2311 [ + + ]: 15307 : if (!test_and_set_bit(MPTCP_WORK_RTX, &msk->flags)) - 2312 : 9367 : mptcp_schedule_work(sk); + 2311 [ + + ]: 8489 : if (!test_and_set_bit(MPTCP_WORK_RTX, &msk->flags)) + 2312 : 5901 : mptcp_schedule_work(sk); 2313 : : } else { 2314 : : /* delegate our work to tcp_release_cb() */ - 2315 [ - + - - : 3907 : __set_bit(MPTCP_RETRANSMIT, &msk->cb_flags); + 2315 [ - + - - : 3638 : __set_bit(MPTCP_RETRANSMIT, &msk->cb_flags); - - ] 2316 : : } - 2317 : 13284 : bh_unlock_sock(sk); - 2318 : 13284 : sock_put(sk); - 2319 : 13284 : } + 2317 : 9542 : bh_unlock_sock(sk); + 2318 : 9542 : sock_put(sk); + 2319 : 9542 : } 2320 : : 2321 : 93 : static void mptcp_tout_timer(struct timer_list *t) 2322 : : { @@ -2415,74 +2415,74 @@ 2331 : : * 2332 : : * A backup subflow is returned only if that is the only kind available. 2333 : : */ - 2334 : 1666 : struct sock *mptcp_subflow_get_retrans(struct mptcp_sock *msk) + 2334 : 1463 : struct sock *mptcp_subflow_get_retrans(struct mptcp_sock *msk) 2335 : : { - 2336 : 1666 : struct sock *backup = NULL, *pick = NULL; - 2337 : 1666 : struct mptcp_subflow_context *subflow; - 2338 : 1666 : int min_stale_count = INT_MAX; + 2336 : 1463 : struct sock *backup = NULL, *pick = NULL; + 2337 : 1463 : struct mptcp_subflow_context *subflow; + 2338 : 1463 : int min_stale_count = INT_MAX; 2339 : : - 2340 [ + + ]: 3752 : mptcp_for_each_subflow(msk, subflow) { - 2341 : 2086 : struct sock *ssk = mptcp_subflow_tcp_sock(subflow); + 2340 [ + + ]: 3323 : mptcp_for_each_subflow(msk, subflow) { + 2341 : 1860 : struct sock *ssk = mptcp_subflow_tcp_sock(subflow); 2342 : : - 2343 [ + + ]: 2086 : if (!__mptcp_subflow_active(subflow)) - 2344 : 66 : continue; + 2343 [ + + ]: 1860 : if (!__mptcp_subflow_active(subflow)) + 2344 : 63 : continue; 2345 : : 2346 : : /* still data outstanding at TCP level? skip this */ - 2347 [ + + ]: 2020 : if (!tcp_rtx_and_write_queues_empty(ssk)) { - 2348 : 635 : mptcp_pm_subflow_chk_stale(msk, ssk); - 2349 : 635 : min_stale_count = min_t(int, min_stale_count, subflow->stale_count); - 2350 : 635 : continue; + 2347 [ + + ]: 1797 : if (!tcp_rtx_and_write_queues_empty(ssk)) { + 2348 : 524 : mptcp_pm_subflow_chk_stale(msk, ssk); + 2349 : 524 : min_stale_count = min_t(int, min_stale_count, subflow->stale_count); + 2350 : 524 : continue; 2351 : : } 2352 : : - 2353 [ + + ]: 1385 : if (subflow->backup || subflow->request_bkup) { - 2354 [ + - ]: 46 : if (!backup) - 2355 : 46 : backup = ssk; - 2356 : 46 : continue; + 2353 [ + + ]: 1273 : if (subflow->backup || subflow->request_bkup) { + 2354 [ + - ]: 42 : if (!backup) + 2355 : 42 : backup = ssk; + 2356 : 42 : continue; 2357 : : } 2358 : : - 2359 [ + + ]: 1339 : if (!pick) - 2360 : 1130 : pick = ssk; + 2359 [ + + ]: 1231 : if (!pick) + 2360 : 1031 : pick = ssk; 2361 : : } 2362 : : - 2363 [ + + ]: 1666 : if (pick) + 2363 [ + + ]: 1463 : if (pick) 2364 : : return pick; 2365 : : 2366 : : /* use backup only if there are no progresses anywhere */ - 2367 [ + + ]: 536 : return min_stale_count > 1 ? backup : NULL; + 2367 [ + + ]: 432 : return min_stale_count > 1 ? backup : NULL; 2368 : : } 2369 : : - 2370 : 757 : bool __mptcp_retransmit_pending_data(struct sock *sk) + 2370 : 772 : bool __mptcp_retransmit_pending_data(struct sock *sk) 2371 : : { - 2372 : 757 : struct mptcp_data_frag *cur, *rtx_head; - 2373 [ - + ]: 757 : struct mptcp_sock *msk = mptcp_sk(sk); + 2372 : 772 : struct mptcp_data_frag *cur, *rtx_head; + 2373 [ - + ]: 772 : struct mptcp_sock *msk = mptcp_sk(sk); 2374 : : - 2375 [ + + ]: 757 : if (__mptcp_check_fallback(msk)) + 2375 [ + + ]: 772 : if (__mptcp_check_fallback(msk)) 2376 : : return false; 2377 : : 2378 : : /* the closing socket has some data untransmitted and/or unacked: 2379 : : * some data in the mptcp rtx queue has not really xmitted yet. 2380 : : * keep it simple and re-inject the whole mptcp level rtx queue 2381 : : */ - 2382 : 713 : mptcp_data_lock(sk); - 2383 : 713 : __mptcp_clean_una_wakeup(sk); - 2384 : 713 : rtx_head = mptcp_rtx_head(sk); - 2385 [ + + ]: 713 : if (!rtx_head) { - 2386 : 686 : mptcp_data_unlock(sk); - 2387 : 686 : return false; + 2382 : 723 : mptcp_data_lock(sk); + 2383 : 723 : __mptcp_clean_una_wakeup(sk); + 2384 : 723 : rtx_head = mptcp_rtx_head(sk); + 2385 [ + + ]: 723 : if (!rtx_head) { + 2386 : 695 : mptcp_data_unlock(sk); + 2387 : 695 : return false; 2388 : : } 2389 : : - 2390 : 27 : msk->recovery_snd_nxt = msk->snd_nxt; - 2391 : 27 : msk->recovery = true; - 2392 : 27 : mptcp_data_unlock(sk); + 2390 : 28 : msk->recovery_snd_nxt = msk->snd_nxt; + 2391 : 28 : msk->recovery = true; + 2392 : 28 : mptcp_data_unlock(sk); 2393 : : - 2394 : 27 : msk->first_pending = rtx_head; - 2395 : 27 : msk->snd_burst = 0; + 2394 : 28 : msk->first_pending = rtx_head; + 2395 : 28 : msk->snd_burst = 0; 2396 : : 2397 : : /* be sure to clear the "sent status" on all re-injected fragments */ - 2398 [ + + ]: 4957 : list_for_each_entry(cur, &msk->rtx_queue, list) { - 2399 [ + + ]: 4939 : if (!cur->already_sent) + 2398 [ + + ]: 4278 : list_for_each_entry(cur, &msk->rtx_queue, list) { + 2399 [ + + ]: 4262 : if (!cur->already_sent) 2400 : : break; - 2401 : 4930 : cur->already_sent = 0; + 2401 : 4250 : cur->already_sent = 0; 2402 : : } 2403 : : 2404 : : return true; @@ -2496,22 +2496,22 @@ 2412 : : * clean completely the subflow status when the subflow reaches 2413 : : * TCP_CLOSE state 2414 : : */ - 2415 : 776 : static void __mptcp_subflow_disconnect(struct sock *ssk, + 2415 : 813 : static void __mptcp_subflow_disconnect(struct sock *ssk, 2416 : : struct mptcp_subflow_context *subflow, 2417 : : unsigned int flags) 2418 : : { - 2419 [ + + + + : 776 : if (((1 << ssk->sk_state) & (TCPF_CLOSE | TCPF_LISTEN)) || - + + ] + 2419 [ + + + + : 813 : if (((1 << ssk->sk_state) & (TCPF_CLOSE | TCPF_LISTEN)) || + + + ] 2420 : : (flags & MPTCP_CF_FASTCLOSE)) { 2421 : : /* The MPTCP code never wait on the subflow sockets, TCP-level 2422 : : * disconnect should never fail 2423 : : */ - 2424 [ - + ]: 752 : WARN_ON_ONCE(tcp_disconnect(ssk, 0)); - 2425 : 752 : mptcp_subflow_ctx_reset(subflow); + 2424 [ - + ]: 789 : WARN_ON_ONCE(tcp_disconnect(ssk, 0)); + 2425 : 789 : mptcp_subflow_ctx_reset(subflow); 2426 : : } else { 2427 : 24 : tcp_shutdown(ssk, SEND_SHUTDOWN); 2428 : : } - 2429 : 776 : } + 2429 : 813 : } 2430 : : 2431 : : /* subflow sockets can be either outgoing (connect) or incoming 2432 : : * (accept). @@ -2521,19 +2521,19 @@ 2436 : : * so we need to use tcp_close() after detaching them from the mptcp 2437 : : * parent socket. 2438 : : */ - 2439 : 5377 : static void __mptcp_close_ssk(struct sock *sk, struct sock *ssk, + 2439 : 5412 : static void __mptcp_close_ssk(struct sock *sk, struct sock *ssk, 2440 : : struct mptcp_subflow_context *subflow, 2441 : : unsigned int flags) 2442 : : { - 2443 [ - + ]: 5377 : struct mptcp_sock *msk = mptcp_sk(sk); - 2444 : 5377 : bool dispose_it, need_push = false; + 2443 [ - + ]: 5412 : struct mptcp_sock *msk = mptcp_sk(sk); + 2444 : 5412 : bool dispose_it, need_push = false; 2445 : : 2446 : : /* If the first subflow moved to a close state before accept, e.g. due 2447 : : * to an incoming reset or listener shutdown, the subflow socket is 2448 : : * already deleted by inet_child_forget() and the mptcp socket can't 2449 : : * survive too. 2450 : : */ - 2451 [ + + + + : 5419 : if (msk->in_accept_queue && msk->first == ssk && + 2451 [ + + + + : 5454 : if (msk->in_accept_queue && msk->first == ssk && - + ] 2452 [ - - ]: 42 : (sock_flag(sk, SOCK_DEAD) || sock_flag(ssk, SOCK_DEAD))) { 2453 : : /* ensure later check in mptcp_worker() will dispose the msk */ @@ -2544,96 +2544,96 @@ 2458 : 42 : goto out_release; 2459 : : } 2460 : : - 2461 [ + + + + ]: 5335 : dispose_it = msk->free_first || ssk != msk->first; + 2461 [ + + + + ]: 5370 : dispose_it = msk->free_first || ssk != msk->first; 2462 : : if (dispose_it) - 2463 : 4559 : list_del(&subflow->node); + 2463 : 4557 : list_del(&subflow->node); 2464 : : - 2465 : 5335 : lock_sock_nested(ssk, SINGLE_DEPTH_NESTING); + 2465 : 5370 : lock_sock_nested(ssk, SINGLE_DEPTH_NESTING); 2466 : : - 2467 [ + + + + ]: 5335 : if ((flags & MPTCP_CF_FASTCLOSE) && !__mptcp_check_fallback(msk)) { + 2467 [ + + + + ]: 5370 : if ((flags & MPTCP_CF_FASTCLOSE) && !__mptcp_check_fallback(msk)) { 2468 : : /* be sure to force the tcp_close path 2469 : : * to generate the egress reset 2470 : : */ - 2471 : 404 : ssk->sk_lingertime = 0; - 2472 : 404 : sock_set_flag(ssk, SOCK_LINGER); - 2473 : 404 : subflow->send_fastclose = 1; + 2471 : 419 : ssk->sk_lingertime = 0; + 2472 : 419 : sock_set_flag(ssk, SOCK_LINGER); + 2473 : 419 : subflow->send_fastclose = 1; 2474 : : } 2475 : : - 2476 [ + + + + ]: 5335 : need_push = (flags & MPTCP_CF_PUSH) && __mptcp_retransmit_pending_data(sk); - 2477 [ + + ]: 5335 : if (!dispose_it) { - 2478 : 776 : __mptcp_subflow_disconnect(ssk, subflow, flags); - 2479 : 776 : release_sock(ssk); + 2476 [ + + + + ]: 5370 : need_push = (flags & MPTCP_CF_PUSH) && __mptcp_retransmit_pending_data(sk); + 2477 [ + + ]: 5370 : if (!dispose_it) { + 2478 : 813 : __mptcp_subflow_disconnect(ssk, subflow, flags); + 2479 : 813 : release_sock(ssk); 2480 : : - 2481 : 776 : goto out; + 2481 : 813 : goto out; 2482 : : } 2483 : : - 2484 : 4559 : subflow->disposable = 1; + 2484 : 4557 : subflow->disposable = 1; 2485 : : 2486 : : /* if ssk hit tcp_done(), tcp_cleanup_ulp() cleared the related ops 2487 : : * the ssk has been already destroyed, we just need to release the 2488 : : * reference owned by msk; 2489 : : */ - 2490 [ - + ]: 4559 : if (!inet_csk(ssk)->icsk_ulp_ops) { + 2490 [ - + ]: 4557 : if (!inet_csk(ssk)->icsk_ulp_ops) { 2491 [ # # ]: 0 : WARN_ON_ONCE(!sock_flag(ssk, SOCK_DEAD)); 2492 [ # # ]: 0 : kfree_rcu(subflow, rcu); 2493 : : } else { 2494 : : /* otherwise tcp will dispose of the ssk and subflow ctx */ - 2495 : 4559 : __tcp_close(ssk, 0); + 2495 : 4557 : __tcp_close(ssk, 0); 2496 : : 2497 : : /* close acquired an extra ref */ - 2498 : 4559 : __sock_put(ssk); + 2498 : 4557 : __sock_put(ssk); 2499 : : } 2500 : : - 2501 : 4601 : out_release: - 2502 : 4601 : __mptcp_subflow_error_report(sk, ssk); - 2503 : 4601 : release_sock(ssk); + 2501 : 4599 : out_release: + 2502 : 4599 : __mptcp_subflow_error_report(sk, ssk); + 2503 : 4599 : release_sock(ssk); 2504 : : - 2505 : 4601 : sock_put(ssk); + 2505 : 4599 : sock_put(ssk); 2506 : : - 2507 [ + + ]: 4601 : if (ssk == msk->first) + 2507 [ + + ]: 4599 : if (ssk == msk->first) 2508 : 3575 : WRITE_ONCE(msk->first, NULL); 2509 : : - 2510 : 1026 : out: - 2511 : 5377 : __mptcp_sync_sndbuf(sk); - 2512 [ + + ]: 5377 : if (need_push) - 2513 : 12 : __mptcp_push_pending(sk, 0); + 2510 : 1024 : out: + 2511 : 5412 : __mptcp_sync_sndbuf(sk); + 2512 [ + + ]: 5412 : if (need_push) + 2513 : 14 : __mptcp_push_pending(sk, 0); 2514 : : 2515 : : /* Catch every 'all subflows closed' scenario, including peers silently 2516 : : * closing them, e.g. due to timeout. 2517 : : * For established sockets, allow an additional timeout before closing, 2518 : : * as the protocol can still create more subflows. 2519 : : */ - 2520 [ + + + + : 7541 : if (list_is_singular(&msk->conn_list) && msk->first && - + + ] + 2520 [ + + + + : 7648 : if (list_is_singular(&msk->conn_list) && msk->first && + + + ] 2521 [ + - ]: 30 : inet_sk_state_load(msk->first) == TCP_CLOSE) { - 2522 [ + + + - ]: 754 : if (sk->sk_state != TCP_ESTABLISHED || + 2522 [ + + + - ]: 790 : if (sk->sk_state != TCP_ESTABLISHED || 2523 [ - + ]: 34 : msk->in_accept_queue || sock_flag(sk, SOCK_DEAD)) { - 2524 : 720 : mptcp_set_state(sk, TCP_CLOSE); - 2525 : 720 : mptcp_close_wake_up(sk); + 2524 : 756 : mptcp_set_state(sk, TCP_CLOSE); + 2525 : 756 : mptcp_close_wake_up(sk); 2526 : : } else { 2527 : 34 : mptcp_start_tout_timer(sk); 2528 : : } 2529 : : } - 2530 : 5377 : } + 2530 : 5412 : } 2531 : : - 2532 : 780 : void mptcp_close_ssk(struct sock *sk, struct sock *ssk, + 2532 : 794 : void mptcp_close_ssk(struct sock *sk, struct sock *ssk, 2533 : : struct mptcp_subflow_context *subflow) 2534 : : { 2535 : : /* The first subflow can already be closed and still in the list */ - 2536 [ + + ]: 780 : if (subflow->close_event_done) + 2536 [ + + ]: 794 : if (subflow->close_event_done) 2537 : : return; 2538 : : - 2539 : 742 : subflow->close_event_done = true; + 2539 : 758 : subflow->close_event_done = true; 2540 : : - 2541 [ + + ]: 742 : if (sk->sk_state == TCP_ESTABLISHED) - 2542 [ - + ]: 322 : mptcp_event(MPTCP_EVENT_SUB_CLOSED, mptcp_sk(sk), ssk, GFP_KERNEL); + 2541 [ + + ]: 758 : if (sk->sk_state == TCP_ESTABLISHED) + 2542 [ - + ]: 320 : mptcp_event(MPTCP_EVENT_SUB_CLOSED, mptcp_sk(sk), ssk, GFP_KERNEL); 2543 : : 2544 : : /* subflow aborted before reaching the fully_established status 2545 : : * attempt the creation of the next subflow 2546 : : */ - 2547 [ - + ]: 742 : mptcp_pm_subflow_check_next(mptcp_sk(sk), subflow); + 2547 [ - + ]: 758 : mptcp_pm_subflow_check_next(mptcp_sk(sk), subflow); 2548 : : - 2549 : 742 : __mptcp_close_ssk(sk, ssk, subflow, MPTCP_CF_PUSH); + 2549 : 758 : __mptcp_close_ssk(sk, ssk, subflow, MPTCP_CF_PUSH); 2550 : : } 2551 : : 2552 : 0 : static unsigned int mptcp_sync_mss(struct sock *sk, u32 pmtu) @@ -2641,167 +2641,167 @@ 2554 : 0 : return 0; 2555 : : } 2556 : : - 2557 : 583 : static void __mptcp_close_subflow(struct sock *sk) + 2557 : 590 : static void __mptcp_close_subflow(struct sock *sk) 2558 : : { - 2559 : 583 : struct mptcp_subflow_context *subflow, *tmp; - 2560 [ - + ]: 583 : struct mptcp_sock *msk = mptcp_sk(sk); + 2559 : 590 : struct mptcp_subflow_context *subflow, *tmp; + 2560 [ - + ]: 590 : struct mptcp_sock *msk = mptcp_sk(sk); 2561 : : - 2562 : 583 : might_sleep(); + 2562 : 590 : might_sleep(); 2563 : : - 2564 [ + + ]: 1484 : mptcp_for_each_subflow_safe(msk, subflow, tmp) { + 2564 [ + + ]: 1491 : mptcp_for_each_subflow_safe(msk, subflow, tmp) { 2565 : 901 : struct sock *ssk = mptcp_subflow_tcp_sock(subflow); 2566 : 901 : int ssk_state = inet_sk_state_load(ssk); 2567 : : - 2568 [ + + + + ]: 901 : if (ssk_state != TCP_CLOSE && - 2569 [ + + ]: 74 : (ssk_state != TCP_CLOSE_WAIT || + 2568 [ + + + + ]: 901 : if (ssk_state != TCP_CLOSE && + 2569 [ + + ]: 67 : (ssk_state != TCP_CLOSE_WAIT || 2570 [ # # ]: 0 : inet_sk_state_load(sk) != TCP_ESTABLISHED)) - 2571 : 313 : continue; + 2571 : 299 : continue; 2572 : : 2573 : : /* 'subflow_data_ready' will re-sched once rx queue is empty */ - 2574 [ - + ]: 588 : if (!skb_queue_empty_lockless(&ssk->sk_receive_queue)) + 2574 [ - + ]: 602 : if (!skb_queue_empty_lockless(&ssk->sk_receive_queue)) 2575 : 0 : continue; 2576 : : - 2577 : 588 : mptcp_close_ssk(sk, ssk, subflow); + 2577 : 602 : mptcp_close_ssk(sk, ssk, subflow); 2578 : : } 2579 : : - 2580 : 583 : } + 2580 : 590 : } 2581 : : - 2582 : 14733 : static bool mptcp_close_tout_expired(const struct sock *sk) + 2582 : 11225 : static bool mptcp_close_tout_expired(const struct sock *sk) 2583 : : { - 2584 [ + + ]: 14733 : if (!inet_csk(sk)->icsk_mtup.probe_timestamp || - 2585 [ + + ]: 2999 : sk->sk_state == TCP_CLOSE) + 2584 [ + + ]: 11225 : if (!inet_csk(sk)->icsk_mtup.probe_timestamp || + 2585 [ + + ]: 2948 : sk->sk_state == TCP_CLOSE) 2586 : : return false; 2587 : : - 2588 : 2141 : return time_after32(tcp_jiffies32, + 2588 : 2090 : return time_after32(tcp_jiffies32, 2589 : : inet_csk(sk)->icsk_mtup.probe_timestamp + mptcp_close_timeout(sk)); 2590 : : } 2591 : : - 2592 : 14733 : static void mptcp_check_fastclose(struct mptcp_sock *msk) + 2592 : 11225 : static void mptcp_check_fastclose(struct mptcp_sock *msk) 2593 : : { - 2594 : 14733 : struct mptcp_subflow_context *subflow, *tmp; - 2595 : 14733 : struct sock *sk = (struct sock *)msk; + 2594 : 11225 : struct mptcp_subflow_context *subflow, *tmp; + 2595 : 11225 : struct sock *sk = (struct sock *)msk; 2596 : : - 2597 [ + + + + ]: 14733 : if (likely(!READ_ONCE(msk->rcv_fastclose))) + 2597 [ + + + + ]: 11225 : if (likely(!READ_ONCE(msk->rcv_fastclose))) 2598 : : return; 2599 : : - 2600 : 216 : mptcp_token_destroy(msk); + 2600 : 227 : mptcp_token_destroy(msk); 2601 : : - 2602 [ + + ]: 498 : mptcp_for_each_subflow_safe(msk, subflow, tmp) { - 2603 : 282 : struct sock *tcp_sk = mptcp_subflow_tcp_sock(subflow); - 2604 : 282 : bool slow; + 2602 [ + + ]: 517 : mptcp_for_each_subflow_safe(msk, subflow, tmp) { + 2603 : 290 : struct sock *tcp_sk = mptcp_subflow_tcp_sock(subflow); + 2604 : 290 : bool slow; 2605 : : - 2606 : 282 : slow = lock_sock_fast(tcp_sk); - 2607 [ + + ]: 282 : if (tcp_sk->sk_state != TCP_CLOSE) { - 2608 : 39 : mptcp_send_active_reset_reason(tcp_sk); - 2609 : 39 : tcp_set_state(tcp_sk, TCP_CLOSE); + 2606 : 290 : slow = lock_sock_fast(tcp_sk); + 2607 [ + + ]: 290 : if (tcp_sk->sk_state != TCP_CLOSE) { + 2608 : 36 : mptcp_send_active_reset_reason(tcp_sk); + 2609 : 36 : tcp_set_state(tcp_sk, TCP_CLOSE); 2610 : : } - 2611 : 282 : unlock_sock_fast(tcp_sk, slow); + 2611 : 290 : unlock_sock_fast(tcp_sk, slow); 2612 : : } 2613 : : 2614 : : /* Mirror the tcp_reset() error propagation */ - 2615 [ - + + - ]: 216 : switch (sk->sk_state) { + 2615 [ - + + - ]: 227 : switch (sk->sk_state) { 2616 : : case TCP_SYN_SENT: 2617 : 0 : WRITE_ONCE(sk->sk_err, ECONNREFUSED); 2618 : 0 : break; 2619 : : case TCP_CLOSE_WAIT: - 2620 : 18 : WRITE_ONCE(sk->sk_err, EPIPE); - 2621 : 18 : break; + 2620 : 14 : WRITE_ONCE(sk->sk_err, EPIPE); + 2621 : 14 : break; 2622 : : case TCP_CLOSE: 2623 : : return; 2624 : : default: - 2625 : 198 : WRITE_ONCE(sk->sk_err, ECONNRESET); + 2625 : 213 : WRITE_ONCE(sk->sk_err, ECONNRESET); 2626 : : } 2627 : : - 2628 : 216 : mptcp_set_state(sk, TCP_CLOSE); - 2629 : 216 : WRITE_ONCE(sk->sk_shutdown, SHUTDOWN_MASK); - 2630 : 216 : smp_mb__before_atomic(); /* SHUTDOWN must be visible first */ - 2631 : 216 : set_bit(MPTCP_WORK_CLOSE_SUBFLOW, &msk->flags); + 2628 : 227 : mptcp_set_state(sk, TCP_CLOSE); + 2629 : 227 : WRITE_ONCE(sk->sk_shutdown, SHUTDOWN_MASK); + 2630 : 227 : smp_mb__before_atomic(); /* SHUTDOWN must be visible first */ + 2631 : 227 : set_bit(MPTCP_WORK_CLOSE_SUBFLOW, &msk->flags); 2632 : : 2633 : : /* the calling mptcp_worker will properly destroy the socket */ - 2634 [ + + ]: 216 : if (sock_flag(sk, SOCK_DEAD)) + 2634 [ + + ]: 227 : if (sock_flag(sk, SOCK_DEAD)) 2635 : : return; 2636 : : - 2637 : 112 : sk->sk_state_change(sk); - 2638 : 112 : sk_error_report(sk); + 2637 : 101 : sk->sk_state_change(sk); + 2638 : 101 : sk_error_report(sk); 2639 : : } 2640 : : - 2641 : 12961 : static void __mptcp_retrans(struct sock *sk) + 2641 : 9234 : static void __mptcp_retrans(struct sock *sk) 2642 : : { - 2643 [ - + ]: 12961 : struct mptcp_sock *msk = mptcp_sk(sk); - 2644 : 12961 : struct mptcp_subflow_context *subflow; - 2645 : 12961 : struct mptcp_sendmsg_info info = {}; - 2646 : 12961 : struct mptcp_data_frag *dfrag; - 2647 : 12961 : struct sock *ssk; - 2648 : 12961 : int ret, err; - 2649 : 12961 : u16 len = 0; + 2643 [ - + ]: 9234 : struct mptcp_sock *msk = mptcp_sk(sk); + 2644 : 9234 : struct mptcp_subflow_context *subflow; + 2645 : 9234 : struct mptcp_sendmsg_info info = {}; + 2646 : 9234 : struct mptcp_data_frag *dfrag; + 2647 : 9234 : struct sock *ssk; + 2648 : 9234 : int ret, err; + 2649 : 9234 : u16 len = 0; 2650 : : - 2651 : 12961 : mptcp_clean_una_wakeup(sk); + 2651 : 9234 : mptcp_clean_una_wakeup(sk); 2652 : : 2653 : : /* first check ssk: need to kick "stale" logic */ - 2654 : 12961 : err = mptcp_sched_get_retrans(msk); - 2655 : 12961 : dfrag = mptcp_rtx_head(sk); - 2656 [ + + ]: 12961 : if (!dfrag) { - 2657 [ + + ]: 4963 : if (mptcp_data_fin_enabled(msk)) { - 2658 : 1072 : struct inet_connection_sock *icsk = inet_csk(sk); + 2654 : 9234 : err = mptcp_sched_get_retrans(msk); + 2655 : 9234 : dfrag = mptcp_rtx_head(sk); + 2656 [ + + ]: 9234 : if (!dfrag) { + 2657 [ + + ]: 3801 : if (mptcp_data_fin_enabled(msk)) { + 2658 : 1083 : struct inet_connection_sock *icsk = inet_csk(sk); 2659 : : - 2660 : 1072 : icsk->icsk_retransmits++; - 2661 : 1072 : mptcp_set_datafin_timeout(sk); - 2662 : 1072 : mptcp_send_ack(msk); + 2660 : 1083 : icsk->icsk_retransmits++; + 2661 : 1083 : mptcp_set_datafin_timeout(sk); + 2662 : 1083 : mptcp_send_ack(msk); 2663 : : - 2664 : 1072 : goto reset_timer; + 2664 : 1083 : goto reset_timer; 2665 : : } 2666 : : - 2667 [ + + ]: 3891 : if (!mptcp_send_head(sk)) - 2668 : 923 : return; + 2667 [ + + ]: 2718 : if (!mptcp_send_head(sk)) + 2668 : 780 : return; 2669 : : - 2670 : 2968 : goto reset_timer; + 2670 : 1938 : goto reset_timer; 2671 : : } 2672 : : - 2673 [ + + ]: 7998 : if (err) - 2674 : 4810 : goto reset_timer; + 2673 [ + + ]: 5433 : if (err) + 2674 : 2236 : goto reset_timer; 2675 : : - 2676 [ + + ]: 9626 : mptcp_for_each_subflow(msk, subflow) { - 2677 [ + + + + ]: 6438 : if (READ_ONCE(subflow->scheduled)) { - 2678 : 3599 : u16 copied = 0; + 2676 [ + + ]: 9643 : mptcp_for_each_subflow(msk, subflow) { + 2677 [ + + + + ]: 6446 : if (READ_ONCE(subflow->scheduled)) { + 2678 : 3628 : u16 copied = 0; 2679 : : - 2680 : 3599 : mptcp_subflow_set_scheduled(subflow, false); + 2680 : 3628 : mptcp_subflow_set_scheduled(subflow, false); 2681 : : - 2682 : 3599 : ssk = mptcp_subflow_tcp_sock(subflow); + 2682 : 3628 : ssk = mptcp_subflow_tcp_sock(subflow); 2683 : : - 2684 : 3599 : lock_sock(ssk); + 2684 : 3628 : lock_sock(ssk); 2685 : : 2686 : : /* limit retransmission to the bytes already sent on some subflows */ - 2687 : 3599 : info.sent = 0; - 2688 [ - + - + ]: 3599 : info.limit = READ_ONCE(msk->csum_enabled) ? dfrag->data_len : + 2687 : 3628 : info.sent = 0; + 2688 [ - + - + ]: 3628 : info.limit = READ_ONCE(msk->csum_enabled) ? dfrag->data_len : 2689 : : dfrag->already_sent; - 2690 [ + + ]: 7198 : while (info.sent < info.limit) { - 2691 : 3599 : ret = mptcp_sendmsg_frag(sk, ssk, dfrag, &info); - 2692 [ + - ]: 3599 : if (ret <= 0) + 2690 [ + + ]: 7256 : while (info.sent < info.limit) { + 2691 : 3628 : ret = mptcp_sendmsg_frag(sk, ssk, dfrag, &info); + 2692 [ + - ]: 3628 : if (ret <= 0) 2693 : : break; 2694 : : - 2695 [ + - ]: 3599 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_RETRANSSEGS); - 2696 : 3599 : copied += ret; - 2697 : 3599 : info.sent += ret; + 2695 [ + - ]: 3628 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_RETRANSSEGS); + 2696 : 3628 : copied += ret; + 2697 : 3628 : info.sent += ret; 2698 : : } - 2699 [ + - ]: 3599 : if (copied) { - 2700 : 3599 : len = max(copied, len); - 2701 [ - + ]: 3599 : tcp_push(ssk, 0, info.mss_now, tcp_sk(ssk)->nonagle, + 2699 [ + - ]: 3628 : if (copied) { + 2700 : 3628 : len = max(copied, len); + 2701 [ - + ]: 3628 : tcp_push(ssk, 0, info.mss_now, tcp_sk(ssk)->nonagle, 2702 : : info.size_goal); - 2703 : 3599 : WRITE_ONCE(msk->allow_infinite_fallback, false); + 2703 : 3628 : WRITE_ONCE(msk->allow_infinite_fallback, false); 2704 : : } 2705 : : - 2706 : 3599 : release_sock(ssk); + 2706 : 3628 : release_sock(ssk); 2707 : : } 2708 : : } 2709 : : - 2710 : 3188 : msk->bytes_retrans += len; - 2711 : 3188 : dfrag->already_sent = max(dfrag->already_sent, len); + 2710 : 3197 : msk->bytes_retrans += len; + 2711 : 3197 : dfrag->already_sent = max(dfrag->already_sent, len); 2712 : : - 2713 : 12038 : reset_timer: - 2714 : 12038 : mptcp_check_and_set_pending(sk); + 2713 : 8454 : reset_timer: + 2714 : 8454 : mptcp_check_and_set_pending(sk); 2715 : : - 2716 [ + + ]: 12038 : if (!mptcp_rtx_timer_pending(sk)) - 2717 : 78 : mptcp_reset_rtx_timer(sk); + 2716 [ + + ]: 8454 : if (!mptcp_rtx_timer_pending(sk)) + 2717 : 82 : mptcp_reset_rtx_timer(sk); 2718 : : } 2719 : : 2720 : : /* schedule the timeout timer for the relevant event: either close timeout @@ -2842,61 +2842,61 @@ 2755 : 0 : unlock_sock_fast(ssk, slow); 2756 : : } 2757 : : - 2758 : 346 : static void mptcp_do_fastclose(struct sock *sk) + 2758 : 363 : static void mptcp_do_fastclose(struct sock *sk) 2759 : : { - 2760 : 346 : struct mptcp_subflow_context *subflow, *tmp; - 2761 [ - + ]: 346 : struct mptcp_sock *msk = mptcp_sk(sk); + 2760 : 363 : struct mptcp_subflow_context *subflow, *tmp; + 2761 [ - + ]: 363 : struct mptcp_sock *msk = mptcp_sk(sk); 2762 : : - 2763 : 346 : mptcp_set_state(sk, TCP_CLOSE); - 2764 [ + + ]: 772 : mptcp_for_each_subflow_safe(msk, subflow, tmp) - 2765 : 426 : __mptcp_close_ssk(sk, mptcp_subflow_tcp_sock(subflow), + 2763 : 363 : mptcp_set_state(sk, TCP_CLOSE); + 2764 [ + + ]: 804 : mptcp_for_each_subflow_safe(msk, subflow, tmp) + 2765 : 441 : __mptcp_close_ssk(sk, mptcp_subflow_tcp_sock(subflow), 2766 : : subflow, MPTCP_CF_FASTCLOSE); - 2767 : 346 : } + 2767 : 363 : } 2768 : : - 2769 : 14816 : static void mptcp_worker(struct work_struct *work) + 2769 : 11324 : static void mptcp_worker(struct work_struct *work) 2770 : : { - 2771 : 14816 : struct mptcp_sock *msk = container_of(work, struct mptcp_sock, work); - 2772 : 14816 : struct sock *sk = (struct sock *)msk; - 2773 : 14816 : unsigned long fail_tout; - 2774 : 14816 : int state; + 2771 : 11324 : struct mptcp_sock *msk = container_of(work, struct mptcp_sock, work); + 2772 : 11324 : struct sock *sk = (struct sock *)msk; + 2773 : 11324 : unsigned long fail_tout; + 2774 : 11324 : int state; 2775 : : - 2776 : 14816 : lock_sock(sk); - 2777 : 14816 : state = sk->sk_state; - 2778 [ + + + + ]: 14816 : if (unlikely((1 << state) & (TCPF_CLOSE | TCPF_LISTEN))) - 2779 : 83 : goto unlock; + 2776 : 11324 : lock_sock(sk); + 2777 : 11324 : state = sk->sk_state; + 2778 [ + + + + ]: 11324 : if (unlikely((1 << state) & (TCPF_CLOSE | TCPF_LISTEN))) + 2779 : 99 : goto unlock; 2780 : : - 2781 : 14733 : mptcp_check_fastclose(msk); + 2781 : 11225 : mptcp_check_fastclose(msk); 2782 : : - 2783 : 14733 : mptcp_pm_nl_work(msk); + 2783 : 11225 : mptcp_pm_nl_work(msk); 2784 : : - 2785 : 14733 : mptcp_check_send_data_fin(sk); - 2786 : 14733 : mptcp_check_data_fin_ack(sk); - 2787 : 14733 : mptcp_check_data_fin(sk); + 2785 : 11225 : mptcp_check_send_data_fin(sk); + 2786 : 11225 : mptcp_check_data_fin_ack(sk); + 2787 : 11225 : mptcp_check_data_fin(sk); 2788 : : - 2789 [ + + ]: 23288 : if (test_and_clear_bit(MPTCP_WORK_CLOSE_SUBFLOW, &msk->flags)) - 2790 : 583 : __mptcp_close_subflow(sk); + 2789 [ + + ]: 16444 : if (test_and_clear_bit(MPTCP_WORK_CLOSE_SUBFLOW, &msk->flags)) + 2790 : 590 : __mptcp_close_subflow(sk); 2791 : : - 2792 [ + + ]: 14733 : if (mptcp_close_tout_expired(sk)) { + 2792 [ + + ]: 11225 : if (mptcp_close_tout_expired(sk)) { 2793 : 93 : mptcp_do_fastclose(sk); 2794 : 93 : mptcp_close_wake_up(sk); 2795 : : } 2796 : : - 2797 [ + + + + ]: 14733 : if (sock_flag(sk, SOCK_DEAD) && sk->sk_state == TCP_CLOSE) { + 2797 [ + + + + ]: 11225 : if (sock_flag(sk, SOCK_DEAD) && sk->sk_state == TCP_CLOSE) { 2798 : 939 : __mptcp_destroy_sock(sk); 2799 : 939 : goto unlock; 2800 : : } 2801 : : - 2802 [ + + ]: 21848 : if (test_and_clear_bit(MPTCP_WORK_RTX, &msk->flags)) - 2803 : 9054 : __mptcp_retrans(sk); + 2802 [ + + ]: 15013 : if (test_and_clear_bit(MPTCP_WORK_RTX, &msk->flags)) + 2803 : 5596 : __mptcp_retrans(sk); 2804 : : - 2805 [ + - + - ]: 13794 : fail_tout = msk->first ? READ_ONCE(mptcp_subflow_ctx(msk->first)->fail_tout) : 0; - 2806 [ + - - - ]: 13794 : if (fail_tout && time_after(jiffies, fail_tout)) + 2805 [ + - + - ]: 10286 : fail_tout = msk->first ? READ_ONCE(mptcp_subflow_ctx(msk->first)->fail_tout) : 0; + 2806 [ + - - - ]: 10286 : if (fail_tout && time_after(jiffies, fail_tout)) 2807 : 0 : mptcp_mp_fail_no_response(msk); 2808 : : 2809 : 0 : unlock: - 2810 : 14816 : release_sock(sk); - 2811 : 14816 : sock_put(sk); - 2812 : 14816 : } + 2810 : 11324 : release_sock(sk); + 2811 : 11324 : sock_put(sk); + 2812 : 11324 : } 2813 : : 2814 : 3684 : static void __mptcp_init_sock(struct sock *sk) 2815 : : { @@ -2984,23 +2984,23 @@ 2897 : 3651 : struct mptcp_data_frag *dtmp, *dfrag; 2898 : : 2899 : 3651 : WRITE_ONCE(msk->first_pending, NULL); - 2900 [ + + ]: 4394 : list_for_each_entry_safe(dfrag, dtmp, &msk->rtx_queue, list) - 2901 : 743 : dfrag_clear(sk, dfrag); + 2900 [ + + ]: 3857 : list_for_each_entry_safe(dfrag, dtmp, &msk->rtx_queue, list) + 2901 : 206 : dfrag_clear(sk, dfrag); 2902 : 3651 : } 2903 : : 2904 : 2648 : void mptcp_cancel_work(struct sock *sk) 2905 : : { 2906 [ - + ]: 2648 : struct mptcp_sock *msk = mptcp_sk(sk); 2907 : : - 2908 [ + + ]: 2648 : if (cancel_work_sync(&msk->work)) - 2909 : 23 : __sock_put(sk); + 2908 [ + + ]: 2648 : if (cancel_work_sync(&msk->work)) + 2909 : 21 : __sock_put(sk); 2910 : 2648 : } 2911 : : - 2912 : 2985 : void mptcp_subflow_shutdown(struct sock *sk, struct sock *ssk, int how) + 2912 : 3008 : void mptcp_subflow_shutdown(struct sock *sk, struct sock *ssk, int how) 2913 : : { - 2914 : 2985 : lock_sock(ssk); + 2914 : 3008 : lock_sock(ssk); 2915 : : - 2916 [ - + + ]: 2985 : switch (ssk->sk_state) { + 2916 [ - + + ]: 3008 : switch (ssk->sk_state) { 2917 : 0 : case TCP_LISTEN: 2918 [ # # ]: 0 : if (!(how & RCV_SHUTDOWN)) 2919 : : break; @@ -3008,8 +3008,8 @@ 2921 : : case TCP_SYN_SENT: 2922 [ - + ]: 16 : WARN_ON_ONCE(tcp_disconnect(ssk, O_NONBLOCK)); 2923 : : break; - 2924 : 2969 : default: - 2925 [ - + + + ]: 2969 : if (__mptcp_check_fallback(mptcp_sk(sk))) { + 2924 : 2992 : default: + 2925 [ - + + + ]: 2992 : if (__mptcp_check_fallback(mptcp_sk(sk))) { 2926 [ - + ]: 87 : pr_debug("Fallback\n"); 2927 : 87 : ssk->sk_shutdown |= how; 2928 : 87 : tcp_shutdown(ssk, how); @@ -3020,22 +3020,22 @@ 2933 [ - + - + ]: 87 : WRITE_ONCE(mptcp_sk(sk)->snd_una, mptcp_sk(sk)->snd_nxt); 2934 : 87 : mptcp_schedule_work(sk); 2935 : : } else { - 2936 [ - + ]: 2882 : pr_debug("Sending DATA_FIN on subflow %p\n", ssk); - 2937 : 2882 : tcp_send_ack(ssk); - 2938 [ + + ]: 2882 : if (!mptcp_rtx_timer_pending(sk)) - 2939 : 1650 : mptcp_reset_rtx_timer(sk); + 2936 [ - + ]: 2905 : pr_debug("Sending DATA_FIN on subflow %p\n", ssk); + 2937 : 2905 : tcp_send_ack(ssk); + 2938 [ + + ]: 2905 : if (!mptcp_rtx_timer_pending(sk)) + 2939 : 1662 : mptcp_reset_rtx_timer(sk); 2940 : : } 2941 : : break; 2942 : : } 2943 : : - 2944 : 2985 : release_sock(ssk); - 2945 : 2985 : } + 2944 : 3008 : release_sock(ssk); + 2945 : 3008 : } 2946 : : - 2947 : 16857 : void mptcp_set_state(struct sock *sk, int state) + 2947 : 16919 : void mptcp_set_state(struct sock *sk, int state) 2948 : : { - 2949 : 17565 : int oldstate = sk->sk_state; + 2949 : 17622 : int oldstate = sk->sk_state; 2950 : : - 2951 [ + + - ]: 16803 : switch (state) { + 2951 [ + + - ]: 16867 : switch (state) { 2952 : 2364 : case TCP_ESTABLISHED: 2953 [ + - ]: 2364 : if (oldstate != TCP_ESTABLISHED) 2954 [ + - ]: 2364 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_CURRESTAB); @@ -3046,13 +3046,13 @@ 2959 : : * transition from TCP_SYN_RECV to TCP_CLOSE_WAIT. 2960 : : */ 2961 : : break; - 2962 : 14439 : default: - 2963 [ + + ]: 14439 : if (oldstate == TCP_ESTABLISHED || oldstate == TCP_CLOSE_WAIT) + 2962 : 14503 : default: + 2963 [ + + ]: 14503 : if (oldstate == TCP_ESTABLISHED || oldstate == TCP_CLOSE_WAIT) 2964 [ + - ]: 2364 : MPTCP_DEC_STATS(sock_net(sk), MPTCP_MIB_CURRESTAB); 2965 : : } 2966 : : - 2967 : 17565 : inet_sk_state_store(sk, state); - 2968 : 762 : } + 2967 : 17622 : inet_sk_state_store(sk, state); + 2968 : 755 : } 2969 : : 2970 : : static const unsigned char new_state[16] = { 2971 : : /* current state: new state: action: */ @@ -3071,56 +3071,56 @@ 2984 : : [TCP_NEW_SYN_RECV] = TCP_CLOSE, /* should not happen ! */ 2985 : : }; 2986 : : - 2987 : 2523 : static int mptcp_close_state(struct sock *sk) + 2987 : 2544 : static int mptcp_close_state(struct sock *sk) 2988 : : { - 2989 : 2523 : int next = (int)new_state[sk->sk_state]; - 2990 : 2523 : int ns = next & TCP_STATE_MASK; + 2989 : 2544 : int next = (int)new_state[sk->sk_state]; + 2990 : 2544 : int ns = next & TCP_STATE_MASK; 2991 : : - 2992 : 2523 : mptcp_set_state(sk, ns); + 2992 : 2544 : mptcp_set_state(sk, ns); 2993 : : - 2994 : 2523 : return next & TCP_ACTION_FIN; + 2994 : 2544 : return next & TCP_ACTION_FIN; 2995 : : } 2996 : : - 2997 : 423191 : static void mptcp_check_send_data_fin(struct sock *sk) + 2997 : 385400 : static void mptcp_check_send_data_fin(struct sock *sk) 2998 : : { - 2999 : 423191 : struct mptcp_subflow_context *subflow; - 3000 [ - + ]: 423191 : struct mptcp_sock *msk = mptcp_sk(sk); + 2999 : 385400 : struct mptcp_subflow_context *subflow; + 3000 [ - + ]: 385400 : struct mptcp_sock *msk = mptcp_sk(sk); 3001 : : - 3002 [ - + - - ]: 423191 : pr_debug("msk=%p snd_data_fin_enable=%d pending=%d snd_nxt=%llu write_seq=%llu\n", + 3002 [ - + - - ]: 385400 : pr_debug("msk=%p snd_data_fin_enable=%d pending=%d snd_nxt=%llu write_seq=%llu\n", 3003 : : msk, msk->snd_data_fin_enable, !!mptcp_send_head(sk), 3004 : : msk->snd_nxt, msk->write_seq); 3005 : : 3006 : : /* we still need to enqueue subflows or not really shutting down, 3007 : : * skip this 3008 : : */ - 3009 [ + + + + : 425322 : if (!msk->snd_data_fin_enable || msk->snd_nxt + 1 != msk->write_seq || - + + - + ] - 3010 : 2131 : mptcp_send_head(sk)) - 3011 : 421060 : return; + 3009 [ + + + + : 387545 : if (!msk->snd_data_fin_enable || msk->snd_nxt + 1 != msk->write_seq || + + + - + ] + 3010 : 2145 : mptcp_send_head(sk)) + 3011 : 383255 : return; 3012 : : - 3013 : 2131 : WRITE_ONCE(msk->snd_nxt, msk->write_seq); + 3013 : 2145 : WRITE_ONCE(msk->snd_nxt, msk->write_seq); 3014 : : - 3015 [ + + ]: 4924 : mptcp_for_each_subflow(msk, subflow) { - 3016 : 2793 : struct sock *tcp_sk = mptcp_subflow_tcp_sock(subflow); + 3015 [ + + ]: 4961 : mptcp_for_each_subflow(msk, subflow) { + 3016 : 2816 : struct sock *tcp_sk = mptcp_subflow_tcp_sock(subflow); 3017 : : - 3018 : 2793 : mptcp_subflow_shutdown(sk, tcp_sk, SEND_SHUTDOWN); + 3018 : 2816 : mptcp_subflow_shutdown(sk, tcp_sk, SEND_SHUTDOWN); 3019 : : } 3020 : : } 3021 : : - 3022 : 2131 : static void __mptcp_wr_shutdown(struct sock *sk) + 3022 : 2145 : static void __mptcp_wr_shutdown(struct sock *sk) 3023 : : { - 3024 [ - + ]: 2131 : struct mptcp_sock *msk = mptcp_sk(sk); + 3024 [ - + ]: 2145 : struct mptcp_sock *msk = mptcp_sk(sk); 3025 : : - 3026 [ - + - - ]: 2131 : pr_debug("msk=%p snd_data_fin_enable=%d shutdown=%x state=%d pending=%d\n", + 3026 [ - + - - ]: 2145 : pr_debug("msk=%p snd_data_fin_enable=%d shutdown=%x state=%d pending=%d\n", 3027 : : msk, msk->snd_data_fin_enable, sk->sk_shutdown, sk->sk_state, 3028 : : !!mptcp_send_head(sk)); 3029 : : 3030 : : /* will be ignored by fallback sockets */ - 3031 : 2131 : WRITE_ONCE(msk->write_seq, msk->write_seq + 1); - 3032 : 2131 : WRITE_ONCE(msk->snd_data_fin_enable, 1); + 3031 : 2145 : WRITE_ONCE(msk->write_seq, msk->write_seq + 1); + 3032 : 2145 : WRITE_ONCE(msk->snd_data_fin_enable, 1); 3033 : : - 3034 : 2131 : mptcp_check_send_data_fin(sk); - 3035 : 2131 : } + 3034 : 2145 : mptcp_check_send_data_fin(sk); + 3035 : 2145 : } 3036 : : 3037 : 3587 : static void __mptcp_destroy_sock(struct sock *sk) 3038 : : { @@ -3154,27 +3154,27 @@ 3066 : : 3067 : 0 : static __poll_t mptcp_check_readable(struct sock *sk) 3068 : : { - 3069 [ + + ]: 740995 : return mptcp_epollin_ready(sk) ? EPOLLIN | EPOLLRDNORM : 0; + 3069 [ + + ]: 656654 : return mptcp_epollin_ready(sk) ? EPOLLIN | EPOLLRDNORM : 0; 3070 : : } 3071 : : - 3072 : 2404 : static void mptcp_check_listen_stop(struct sock *sk) + 3072 : 2385 : static void mptcp_check_listen_stop(struct sock *sk) 3073 : : { - 3074 : 2404 : struct sock *ssk; + 3074 : 2385 : struct sock *ssk; 3075 : : - 3076 [ + + ]: 2404 : if (inet_sk_state_load(sk) != TCP_LISTEN) + 3076 [ + + ]: 2385 : if (inet_sk_state_load(sk) != TCP_LISTEN) 3077 : : return; 3078 : : - 3079 : 1248 : sock_prot_inuse_add(sock_net(sk), sk->sk_prot, -1); - 3080 [ - + ]: 1248 : ssk = mptcp_sk(sk)->first; - 3081 [ + - - + ]: 2496 : if (WARN_ON_ONCE(!ssk || inet_sk_state_load(ssk) != TCP_LISTEN)) + 3079 : 1249 : sock_prot_inuse_add(sock_net(sk), sk->sk_prot, -1); + 3080 [ - + ]: 1249 : ssk = mptcp_sk(sk)->first; + 3081 [ + - - + ]: 2498 : if (WARN_ON_ONCE(!ssk || inet_sk_state_load(ssk) != TCP_LISTEN)) 3082 : 0 : return; 3083 : : - 3084 : 1248 : lock_sock_nested(ssk, SINGLE_DEPTH_NESTING); - 3085 : 1248 : tcp_set_state(ssk, TCP_CLOSE); - 3086 : 1248 : mptcp_subflow_queue_clean(sk, ssk); - 3087 : 1248 : inet_csk_listen_stop(ssk); - 3088 : 1248 : mptcp_event_pm_listener(ssk, MPTCP_EVENT_LISTENER_CLOSED); - 3089 : 1248 : release_sock(ssk); + 3084 : 1249 : lock_sock_nested(ssk, SINGLE_DEPTH_NESTING); + 3085 : 1249 : tcp_set_state(ssk, TCP_CLOSE); + 3086 : 1249 : mptcp_subflow_queue_clean(sk, ssk); + 3087 : 1249 : inet_csk_listen_stop(ssk); + 3088 : 1249 : mptcp_event_pm_listener(ssk, MPTCP_EVENT_LISTENER_CLOSED); + 3089 : 1249 : release_sock(ssk); 3090 : : } 3091 : : 3092 : 3622 : bool __mptcp_close(struct sock *sk, long timeout) @@ -3186,52 +3186,52 @@ 3098 : : 3099 : 3622 : WRITE_ONCE(sk->sk_shutdown, SHUTDOWN_MASK); 3100 : : - 3101 [ + + + + ]: 3622 : if ((1 << sk->sk_state) & (TCPF_LISTEN | TCPF_CLOSE)) { - 3102 : 2344 : mptcp_check_listen_stop(sk); - 3103 : 2344 : mptcp_set_state(sk, TCP_CLOSE); - 3104 : 2344 : goto cleanup; + 3101 [ + + + + ]: 3622 : if ((1 << sk->sk_state) & (TCPF_LISTEN | TCPF_CLOSE)) { + 3102 : 2325 : mptcp_check_listen_stop(sk); + 3103 : 2325 : mptcp_set_state(sk, TCP_CLOSE); + 3104 : 2325 : goto cleanup; 3105 : : } 3106 : : - 3107 [ + + - + ]: 1278 : if (mptcp_data_avail(msk) || timeout < 0) { + 3107 [ + + - + ]: 1297 : if (mptcp_data_avail(msk) || timeout < 0) { 3108 : : /* If the msk has read data, or the caller explicitly ask it, 3109 : : * do the MPTCP equivalent of TCP reset, aka MPTCP fastclose 3110 : : */ - 3111 : 211 : mptcp_do_fastclose(sk); - 3112 : 211 : timeout = 0; - 3113 [ + + ]: 1067 : } else if (mptcp_close_state(sk)) { - 3114 : 771 : __mptcp_wr_shutdown(sk); + 3111 : 228 : mptcp_do_fastclose(sk); + 3112 : 228 : timeout = 0; + 3113 [ + + ]: 1069 : } else if (mptcp_close_state(sk)) { + 3114 : 761 : __mptcp_wr_shutdown(sk); 3115 : : } 3116 : : - 3117 : 1278 : sk_stream_wait_close(sk, timeout); + 3117 : 1297 : sk_stream_wait_close(sk, timeout); 3118 : : 3119 : 3622 : cleanup: 3120 : : /* orphan all the subflows */ - 3121 [ + + ]: 7894 : mptcp_for_each_subflow(msk, subflow) { - 3122 : 4272 : struct sock *ssk = mptcp_subflow_tcp_sock(subflow); - 3123 : 4272 : bool slow = lock_sock_fast_nested(ssk); + 3121 [ + + ]: 7903 : mptcp_for_each_subflow(msk, subflow) { + 3122 : 4281 : struct sock *ssk = mptcp_subflow_tcp_sock(subflow); + 3123 : 4281 : bool slow = lock_sock_fast_nested(ssk); 3124 : : - 3125 : 4272 : subflows_alive += ssk->sk_state != TCP_CLOSE; + 3125 : 4281 : subflows_alive += ssk->sk_state != TCP_CLOSE; 3126 : : 3127 : : /* since the close timeout takes precedence on the fail one, 3128 : : * cancel the latter 3129 : : */ - 3130 [ + + ]: 4272 : if (ssk == msk->first) + 3130 [ + + ]: 4281 : if (ssk == msk->first) 3131 : 3610 : subflow->fail_tout = 0; 3132 : : 3133 : : /* detach from the parent socket, but allow data_ready to 3134 : : * push incoming data into the mptcp stack, to properly ack it 3135 : : */ - 3136 : 4272 : ssk->sk_socket = NULL; - 3137 : 4272 : ssk->sk_wq = NULL; - 3138 : 4272 : unlock_sock_fast(ssk, slow); + 3136 : 4281 : ssk->sk_socket = NULL; + 3137 : 4281 : ssk->sk_wq = NULL; + 3138 : 4281 : unlock_sock_fast(ssk, slow); 3139 : : } 3140 : 3622 : sock_orphan(sk); 3141 : : 3142 : : /* all the subflows are closed, only timeout can change the msk 3143 : : * state, let's not keep resources busy for no reasons 3144 : : */ - 3145 [ + + ]: 3622 : if (subflows_alive == 0) - 3146 : 1683 : mptcp_set_state(sk, TCP_CLOSE); + 3145 [ + + ]: 3622 : if (subflows_alive == 0) + 3146 : 1698 : mptcp_set_state(sk, TCP_CLOSE); 3147 : : 3148 : 3622 : sock_hold(sk); 3149 [ - + ]: 3622 : pr_debug("msk=%p state=%d\n", sk, sk->sk_state); @@ -3261,28 +3261,28 @@ 3173 : 3622 : sock_put(sk); 3174 : 3622 : } 3175 : : - 3176 : 4916 : static void mptcp_copy_inaddrs(struct sock *msk, const struct sock *ssk) + 3176 : 4918 : static void mptcp_copy_inaddrs(struct sock *msk, const struct sock *ssk) 3177 : : { 3178 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) - 3179 [ + - ]: 4916 : const struct ipv6_pinfo *ssk6 = inet6_sk(ssk); - 3180 [ + - ]: 4916 : struct ipv6_pinfo *msk6 = inet6_sk(msk); + 3179 [ + - ]: 4918 : const struct ipv6_pinfo *ssk6 = inet6_sk(ssk); + 3180 [ + - ]: 4918 : struct ipv6_pinfo *msk6 = inet6_sk(msk); 3181 : : - 3182 : 4916 : msk->sk_v6_daddr = ssk->sk_v6_daddr; - 3183 : 4916 : msk->sk_v6_rcv_saddr = ssk->sk_v6_rcv_saddr; + 3182 : 4918 : msk->sk_v6_daddr = ssk->sk_v6_daddr; + 3183 : 4918 : msk->sk_v6_rcv_saddr = ssk->sk_v6_rcv_saddr; 3184 : : - 3185 [ + + ]: 4916 : if (msk6 && ssk6) { + 3185 [ + + ]: 4918 : if (msk6 && ssk6) { 3186 : 1922 : msk6->saddr = ssk6->saddr; 3187 : 1922 : msk6->flow_label = ssk6->flow_label; 3188 : : } 3189 : : #endif 3190 : : - 3191 : 4916 : inet_sk(msk)->inet_num = inet_sk(ssk)->inet_num; - 3192 : 4916 : inet_sk(msk)->inet_dport = inet_sk(ssk)->inet_dport; - 3193 : 4916 : inet_sk(msk)->inet_sport = inet_sk(ssk)->inet_sport; - 3194 : 4916 : inet_sk(msk)->inet_daddr = inet_sk(ssk)->inet_daddr; - 3195 : 4916 : inet_sk(msk)->inet_saddr = inet_sk(ssk)->inet_saddr; - 3196 : 4916 : inet_sk(msk)->inet_rcv_saddr = inet_sk(ssk)->inet_rcv_saddr; - 3197 : 4916 : } + 3191 : 4918 : inet_sk(msk)->inet_num = inet_sk(ssk)->inet_num; + 3192 : 4918 : inet_sk(msk)->inet_dport = inet_sk(ssk)->inet_dport; + 3193 : 4918 : inet_sk(msk)->inet_sport = inet_sk(ssk)->inet_sport; + 3194 : 4918 : inet_sk(msk)->inet_daddr = inet_sk(ssk)->inet_daddr; + 3195 : 4918 : inet_sk(msk)->inet_saddr = inet_sk(ssk)->inet_saddr; + 3196 : 4918 : inet_sk(msk)->inet_rcv_saddr = inet_sk(ssk)->inet_rcv_saddr; + 3197 : 4918 : } 3198 : : 3199 : 60 : static int mptcp_disconnect(struct sock *sk, int flags) 3200 : : { @@ -3491,8 +3491,8 @@ 3399 : 3651 : __mptcp_clear_xmit(sk); 3400 : : 3401 : : /* join list will be eventually flushed (with rst) at sock lock release time */ - 3402 [ + + ]: 7854 : mptcp_for_each_subflow_safe(msk, subflow, tmp) - 3403 : 4203 : __mptcp_close_ssk(sk, mptcp_subflow_tcp_sock(subflow), subflow, flags); + 3402 [ + + ]: 7858 : mptcp_for_each_subflow_safe(msk, subflow, tmp) + 3403 : 4207 : __mptcp_close_ssk(sk, mptcp_subflow_tcp_sock(subflow), subflow, flags); 3404 : : 3405 : : /* move to sk_receive_queue, sk_stream_kill_queues will purge it */ 3406 : 3651 : mptcp_data_lock(sk); @@ -3521,23 +3521,23 @@ 3429 : 3591 : sk_sockets_allocated_dec(sk); 3430 : 3591 : } 3431 : : - 3432 : 290273 : void __mptcp_data_acked(struct sock *sk) + 3432 : 239545 : void __mptcp_data_acked(struct sock *sk) 3433 : : { - 3434 [ + + ]: 290273 : if (!sock_owned_by_user(sk)) - 3435 : 206651 : __mptcp_clean_una(sk); + 3434 [ + + ]: 239545 : if (!sock_owned_by_user(sk)) + 3435 : 155207 : __mptcp_clean_una(sk); 3436 : : else - 3437 [ - + ]: 83622 : __set_bit(MPTCP_CLEAN_UNA, &mptcp_sk(sk)->cb_flags); - 3438 : 290273 : } + 3437 [ - + ]: 84338 : __set_bit(MPTCP_CLEAN_UNA, &mptcp_sk(sk)->cb_flags); + 3438 : 239545 : } 3439 : : - 3440 : 982493 : void __mptcp_check_push(struct sock *sk, struct sock *ssk) + 3440 : 828346 : void __mptcp_check_push(struct sock *sk, struct sock *ssk) 3441 : : { - 3442 [ + + ]: 982493 : if (!mptcp_send_head(sk)) + 3442 [ + + ]: 828346 : if (!mptcp_send_head(sk)) 3443 : : return; 3444 : : - 3445 [ + + ]: 122121 : if (!sock_owned_by_user(sk)) - 3446 : 96177 : __mptcp_subflow_push_pending(sk, ssk, false); + 3445 [ + + ]: 98132 : if (!sock_owned_by_user(sk)) + 3446 : 73650 : __mptcp_subflow_push_pending(sk, ssk, false); 3447 : : else - 3448 [ - + ]: 25944 : __set_bit(MPTCP_PUSH_PENDING, &mptcp_sk(sk)->cb_flags); + 3448 [ - + ]: 24482 : __set_bit(MPTCP_PUSH_PENDING, &mptcp_sk(sk)->cb_flags); 3449 : : } 3450 : : 3451 : : #define MPTCP_FLAGS_PROCESS_CTX_NEED (BIT(MPTCP_PUSH_PENDING) | \ @@ -3545,20 +3545,20 @@ 3453 : : BIT(MPTCP_FLUSH_JOIN_LIST)) 3454 : : 3455 : : /* processes deferred events and flush wmem */ - 3456 : 1385113 : static void mptcp_release_cb(struct sock *sk) + 3456 : 1213521 : static void mptcp_release_cb(struct sock *sk) 3457 : : __must_hold(&sk->sk_lock.slock) 3458 : : { - 3459 [ - + ]: 1385113 : struct mptcp_sock *msk = mptcp_sk(sk); + 3459 [ - + ]: 1213521 : struct mptcp_sock *msk = mptcp_sk(sk); 3460 : : - 3461 : 565083 : for (;;) { - 3462 : 1410325 : unsigned long flags = (msk->cb_flags & MPTCP_FLAGS_PROCESS_CTX_NEED); - 3463 : 1410325 : struct list_head join_list; + 3461 : 564281 : for (;;) { + 3462 : 1237299 : unsigned long flags = (msk->cb_flags & MPTCP_FLAGS_PROCESS_CTX_NEED); + 3463 : 1237299 : struct list_head join_list; 3464 : : - 3465 [ + + ]: 1410325 : if (!flags) + 3465 [ + + ]: 1237299 : if (!flags) 3466 : : break; 3467 : : - 3468 [ + + ]: 25212 : INIT_LIST_HEAD(&join_list); - 3469 [ + + ]: 25212 : list_splice_init(&msk->join_list, &join_list); + 3468 [ + + ]: 23778 : INIT_LIST_HEAD(&join_list); + 3469 [ + + ]: 23778 : list_splice_init(&msk->join_list, &join_list); 3470 : : 3471 : : /* the following actions acquire the subflow socket lock 3472 : : * @@ -3567,42 +3567,42 @@ 3475 : : * datapath acquires the msk socket spinlock while helding 3476 : : * the subflow socket lock 3477 : : */ - 3478 : 25212 : msk->cb_flags &= ~flags; - 3479 : 25212 : spin_unlock_bh(&sk->sk_lock.slock); + 3478 : 23778 : msk->cb_flags &= ~flags; + 3479 : 23778 : spin_unlock_bh(&sk->sk_lock.slock); 3480 : : - 3481 [ + + ]: 25212 : if (flags & BIT(MPTCP_FLUSH_JOIN_LIST)) + 3481 [ + + ]: 23778 : if (flags & BIT(MPTCP_FLUSH_JOIN_LIST)) 3482 : 34 : __mptcp_flush_join_list(sk, &join_list); - 3483 [ + + ]: 25212 : if (flags & BIT(MPTCP_PUSH_PENDING)) - 3484 : 21945 : __mptcp_push_pending(sk, 0); - 3485 [ + + ]: 25212 : if (flags & BIT(MPTCP_RETRANSMIT)) - 3486 : 3907 : __mptcp_retrans(sk); + 3483 [ + + ]: 23778 : if (flags & BIT(MPTCP_PUSH_PENDING)) + 3484 : 20891 : __mptcp_push_pending(sk, 0); + 3485 [ + + ]: 23778 : if (flags & BIT(MPTCP_RETRANSMIT)) + 3486 : 3638 : __mptcp_retrans(sk); 3487 : : - 3488 : 25212 : cond_resched(); - 3489 : 25212 : spin_lock_bh(&sk->sk_lock.slock); + 3488 : 23778 : cond_resched(); + 3489 : 23778 : spin_lock_bh(&sk->sk_lock.slock); 3490 : : } 3491 : : - 3492 [ - + - - : 2244976 : if (__test_and_clear_bit(MPTCP_CLEAN_UNA, &msk->cb_flags)) - - - + + ] - 3493 : 65414 : __mptcp_clean_una_wakeup(sk); - 3494 [ + + ]: 1385113 : if (unlikely(msk->cb_flags)) { + 3492 [ - + - - : 1902145 : if (__test_and_clear_bit(MPTCP_CLEAN_UNA, &msk->cb_flags)) + - - + + ] + 3493 : 61963 : __mptcp_clean_una_wakeup(sk); + 3494 [ + + ]: 1213521 : if (unlikely(msk->cb_flags)) { 3495 : : /* be sure to sync the msk state before taking actions 3496 : : * depending on sk_state (MPTCP_ERROR_REPORT) 3497 : : * On sk release avoid actions depending on the first subflow 3498 : : */ - 3499 [ - + - - : 7224 : if (__test_and_clear_bit(MPTCP_SYNC_STATE, &msk->cb_flags) && msk->first) - - - + + + + 3499 [ - + - - : 6280 : if (__test_and_clear_bit(MPTCP_SYNC_STATE, &msk->cb_flags) && msk->first) + - - + + + - ] - 3500 : 899 : __mptcp_sync_state(sk, msk->pending_state); - 3501 [ - + - - : 7224 : if (__test_and_clear_bit(MPTCP_ERROR_REPORT, &msk->cb_flags)) - - - + + ] - 3502 : 438 : __mptcp_error_report(sk); - 3503 [ - + - - : 7224 : if (__test_and_clear_bit(MPTCP_SYNC_SNDBUF, &msk->cb_flags)) - - - + + ] - 3504 : 2332 : __mptcp_sync_sndbuf(sk); + 3500 : 876 : __mptcp_sync_state(sk, msk->pending_state); + 3501 [ - + - - : 6280 : if (__test_and_clear_bit(MPTCP_ERROR_REPORT, &msk->cb_flags)) + - - + + ] + 3502 : 455 : __mptcp_error_report(sk); + 3503 [ - + - - : 6280 : if (__test_and_clear_bit(MPTCP_SYNC_SNDBUF, &msk->cb_flags)) + - - + + ] + 3504 : 1865 : __mptcp_sync_sndbuf(sk); 3505 : : } 3506 : : - 3507 : 1385113 : __mptcp_update_rmem(sk); - 3508 : 1385113 : } + 3507 : 1213521 : __mptcp_update_rmem(sk); + 3508 : 1213521 : } 3509 : : 3510 : : /* MP_JOIN client subflow must wait for 4th ack before sending any data: 3511 : : * TCP can't schedule delack timer before the subflow is fully established. @@ -3631,30 +3631,30 @@ 3534 : 90 : sk_reset_timer(ssk, &icsk->icsk_delack_timer, timeout); 3535 : : } 3536 : : - 3537 : 33061 : void mptcp_subflow_process_delegated(struct sock *ssk, long status) + 3537 : 30125 : void mptcp_subflow_process_delegated(struct sock *ssk, long status) 3538 : : { - 3539 [ + + ]: 33061 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); - 3540 : 33061 : struct sock *sk = subflow->conn; + 3539 [ + + ]: 30125 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); + 3540 : 30125 : struct sock *sk = subflow->conn; 3541 : : - 3542 [ + + ]: 33061 : if (status & BIT(MPTCP_DELEGATE_SEND)) { - 3543 : 4402 : mptcp_data_lock(sk); - 3544 [ + + ]: 4402 : if (!sock_owned_by_user(sk)) - 3545 : 4140 : __mptcp_subflow_push_pending(sk, ssk, true); + 3542 [ + + ]: 30125 : if (status & BIT(MPTCP_DELEGATE_SEND)) { + 3543 : 4544 : mptcp_data_lock(sk); + 3544 [ + + ]: 4544 : if (!sock_owned_by_user(sk)) + 3545 : 4156 : __mptcp_subflow_push_pending(sk, ssk, true); 3546 : : else - 3547 [ - + ]: 262 : __set_bit(MPTCP_PUSH_PENDING, &mptcp_sk(sk)->cb_flags); - 3548 : 4402 : mptcp_data_unlock(sk); + 3547 [ - + ]: 388 : __set_bit(MPTCP_PUSH_PENDING, &mptcp_sk(sk)->cb_flags); + 3548 : 4544 : mptcp_data_unlock(sk); 3549 : : } - 3550 [ + + ]: 33061 : if (status & BIT(MPTCP_DELEGATE_SNDBUF)) { - 3551 : 27690 : mptcp_data_lock(sk); - 3552 [ + + ]: 27690 : if (!sock_owned_by_user(sk)) - 3553 : 24975 : __mptcp_sync_sndbuf(sk); + 3550 [ + + ]: 30125 : if (status & BIT(MPTCP_DELEGATE_SNDBUF)) { + 3551 : 25016 : mptcp_data_lock(sk); + 3552 [ + + ]: 25016 : if (!sock_owned_by_user(sk)) + 3553 : 22905 : __mptcp_sync_sndbuf(sk); 3554 : : else - 3555 [ - + ]: 2715 : __set_bit(MPTCP_SYNC_SNDBUF, &mptcp_sk(sk)->cb_flags); - 3556 : 27690 : mptcp_data_unlock(sk); + 3555 [ - + ]: 2111 : __set_bit(MPTCP_SYNC_SNDBUF, &mptcp_sk(sk)->cb_flags); + 3556 : 25016 : mptcp_data_unlock(sk); 3557 : : } - 3558 [ + + ]: 33061 : if (status & BIT(MPTCP_DELEGATE_ACK)) + 3558 [ + + ]: 30125 : if (status & BIT(MPTCP_DELEGATE_ACK)) 3559 : 499 : schedule_3rdack_retransmission(ssk); - 3560 : 33061 : } + 3560 : 30125 : } 3561 : : 3562 : 0 : static int mptcp_hash(struct sock *sk) 3563 : : { @@ -3704,14 +3704,14 @@ 3607 : 1118 : mptcp_pm_new_connection(msk, ssk, 0); 3608 : 1118 : } 3609 : : - 3610 : 4642 : void mptcp_sock_graft(struct sock *sk, struct socket *parent) + 3610 : 4640 : void mptcp_sock_graft(struct sock *sk, struct socket *parent) 3611 : : { - 3612 : 4642 : write_lock_bh(&sk->sk_callback_lock); - 3613 : 4642 : rcu_assign_pointer(sk->sk_wq, &parent->wq); - 3614 : 4642 : sk_set_socket(sk, parent); - 3615 : 4642 : sk->sk_uid = SOCK_INODE(parent)->i_uid; - 3616 : 4642 : write_unlock_bh(&sk->sk_callback_lock); - 3617 : 4642 : } + 3612 : 4640 : write_lock_bh(&sk->sk_callback_lock); + 3613 : 4640 : rcu_assign_pointer(sk->sk_wq, &parent->wq); + 3614 : 4640 : sk_set_socket(sk, parent); + 3615 : 4640 : sk->sk_uid = SOCK_INODE(parent)->i_uid; + 3616 : 4640 : write_unlock_bh(&sk->sk_callback_lock); + 3617 : 4640 : } 3618 : : 3619 : 992 : bool mptcp_finish_join(struct sock *ssk) 3620 : : { @@ -3742,16 +3742,16 @@ 3645 : : * handle it 3646 : : */ 3647 : 505 : mptcp_data_lock(parent); - 3648 [ + + ]: 505 : if (!sock_owned_by_user(parent)) { - 3649 : 470 : ret = __mptcp_finish_join(msk, ssk); - 3650 [ + - ]: 470 : if (ret) { - 3651 : 470 : sock_hold(ssk); - 3652 : 470 : list_add_tail(&subflow->node, &msk->conn_list); + 3648 [ + + ]: 505 : if (!sock_owned_by_user(parent)) { + 3649 : 468 : ret = __mptcp_finish_join(msk, ssk); + 3650 [ + - ]: 468 : if (ret) { + 3651 : 468 : sock_hold(ssk); + 3652 : 468 : list_add_tail(&subflow->node, &msk->conn_list); 3653 : : } 3654 : : } else { - 3655 : 35 : sock_hold(ssk); - 3656 [ - + ]: 35 : list_add_tail(&subflow->node, &msk->join_list); - 3657 [ - + - - : 35 : __set_bit(MPTCP_FLUSH_JOIN_LIST, &msk->cb_flags); + 3655 : 37 : sock_hold(ssk); + 3656 [ - + ]: 37 : list_add_tail(&subflow->node, &msk->join_list); + 3657 [ - + - - : 37 : __set_bit(MPTCP_FLUSH_JOIN_LIST, &msk->cb_flags); - - ] 3658 : : } 3659 : 505 : mptcp_data_unlock(parent); @@ -3765,18 +3765,18 @@ 3667 : : return true; 3668 : : } 3669 : : - 3670 : 1456 : static void mptcp_shutdown(struct sock *sk, int how) + 3670 : 1475 : static void mptcp_shutdown(struct sock *sk, int how) 3671 : : { - 3672 [ - + ]: 1456 : pr_debug("sk=%p, how=%d\n", sk, how); + 3672 [ - + ]: 1475 : pr_debug("sk=%p, how=%d\n", sk, how); 3673 : : - 3674 [ + - + + ]: 1456 : if ((how & SEND_SHUTDOWN) && mptcp_close_state(sk)) - 3675 : 1360 : __mptcp_wr_shutdown(sk); - 3676 : 1456 : } + 3674 [ + - + + ]: 1475 : if ((how & SEND_SHUTDOWN) && mptcp_close_state(sk)) + 3675 : 1384 : __mptcp_wr_shutdown(sk); + 3676 : 1475 : } 3677 : : - 3678 : 5555 : static int mptcp_forward_alloc_get(const struct sock *sk) + 3678 : 5535 : static int mptcp_forward_alloc_get(const struct sock *sk) 3679 : : { - 3680 : 11110 : return READ_ONCE(sk->sk_forward_alloc) + - 3681 [ - + ]: 5555 : READ_ONCE(mptcp_sk(sk)->rmem_fwd_alloc); + 3680 : 11070 : return READ_ONCE(sk->sk_forward_alloc) + + 3681 [ - + ]: 5535 : READ_ONCE(mptcp_sk(sk)->rmem_fwd_alloc); 3682 : : } 3683 : : 3684 : 55 : static int mptcp_ioctl_outq(const struct mptcp_sock *msk, u64 v) @@ -3787,18 +3787,18 @@ 3689 [ + - ]: 55 : if (sk->sk_state == TCP_LISTEN) 3690 : : return -EINVAL; 3691 : : - 3692 [ + + + - ]: 55 : if ((1 << sk->sk_state) & (TCPF_SYN_SENT | TCPF_SYN_RECV)) + 3692 [ + + + - ]: 55 : if ((1 << sk->sk_state) & (TCPF_SYN_SENT | TCPF_SYN_RECV)) 3693 : : return 0; 3694 : : 3695 : 55 : delta = msk->write_seq - v; - 3696 [ + + + + ]: 55 : if (__mptcp_check_fallback(msk) && msk->first) { + 3696 [ + + + + ]: 55 : if (__mptcp_check_fallback(msk) && msk->first) { 3697 [ - + ]: 35 : struct tcp_sock *tp = tcp_sk(msk->first); 3698 : : 3699 : : /* the first subflow is disconnected after close - see 3700 : : * __mptcp_close_ssk(). tcp_disconnect() moves the write_seq 3701 : : * so ignore that status, too. 3702 : : */ - 3703 [ + + + + ]: 35 : if (!((1 << msk->first->sk_state) & + 3703 [ + + + + ]: 35 : if (!((1 << msk->first->sk_state) & 3704 : : (TCPF_SYN_SENT | TCPF_SYN_RECV | TCPF_CLOSE))) 3705 : 19 : delta += READ_ONCE(tp->write_seq) - tp->snd_una; 3706 : : } @@ -3823,7 +3823,7 @@ 3725 : 0 : *karg = mptcp_inq_hint(sk); 3726 : 0 : release_sock(sk); 3727 : 0 : break; - 3728 : 22 : case SIOCOUTQ: + 3728 : 26 : case SIOCOUTQ: 3729 : 47 : slow = lock_sock_fast(sk); 3730 : 47 : *karg = mptcp_ioctl_outq(msk, READ_ONCE(msk->snd_una)); 3731 : 47 : unlock_sock_fast(sk, slow); @@ -3972,52 +3972,52 @@ 3873 [ + - ]: 542 : else if (sk->sk_family == AF_INET6) 3874 : 542 : err = inet6_bind_sk(ssk, uaddr, addr_len); 3875 : : #endif - 3876 [ + + ]: 1246 : if (!err) - 3877 : 1242 : mptcp_copy_inaddrs(sk, ssk); + 3876 [ + + ]: 1246 : if (!err) + 3877 : 1243 : mptcp_copy_inaddrs(sk, ssk); 3878 : : - 3879 : 4 : unlock: + 3879 : 3 : unlock: 3880 : 1246 : release_sock(sk); 3881 : 1246 : return err; 3882 : : } 3883 : : - 3884 : 1242 : static int mptcp_listen(struct socket *sock, int backlog) + 3884 : 1243 : static int mptcp_listen(struct socket *sock, int backlog) 3885 : : { - 3886 [ - + ]: 1242 : struct mptcp_sock *msk = mptcp_sk(sock->sk); - 3887 : 1242 : struct sock *sk = sock->sk; - 3888 : 1242 : struct sock *ssk; - 3889 : 1242 : int err; + 3886 [ - + ]: 1243 : struct mptcp_sock *msk = mptcp_sk(sock->sk); + 3887 : 1243 : struct sock *sk = sock->sk; + 3888 : 1243 : struct sock *ssk; + 3889 : 1243 : int err; 3890 : : - 3891 [ - + ]: 1242 : pr_debug("msk=%p\n", msk); + 3891 [ - + ]: 1243 : pr_debug("msk=%p\n", msk); 3892 : : - 3893 : 1242 : lock_sock(sk); + 3893 : 1243 : lock_sock(sk); 3894 : : - 3895 : 1242 : err = -EINVAL; - 3896 [ - + ]: 1242 : if (sock->state != SS_UNCONNECTED || sock->type != SOCK_STREAM) + 3895 : 1243 : err = -EINVAL; + 3896 [ - + ]: 1243 : if (sock->state != SS_UNCONNECTED || sock->type != SOCK_STREAM) 3897 : 0 : goto unlock; 3898 : : - 3899 : 1242 : ssk = __mptcp_nmpc_sk(msk); - 3900 [ - + ]: 1242 : if (IS_ERR(ssk)) { + 3899 : 1243 : ssk = __mptcp_nmpc_sk(msk); + 3900 [ - + ]: 1243 : if (IS_ERR(ssk)) { 3901 : 0 : err = PTR_ERR(ssk); 3902 : 0 : goto unlock; 3903 : : } 3904 : : - 3905 : 1242 : mptcp_set_state(sk, TCP_LISTEN); - 3906 : 1242 : sock_set_flag(sk, SOCK_RCU_FREE); + 3905 : 1243 : mptcp_set_state(sk, TCP_LISTEN); + 3906 : 1243 : sock_set_flag(sk, SOCK_RCU_FREE); 3907 : : - 3908 : 1242 : lock_sock(ssk); - 3909 : 1242 : err = __inet_listen_sk(ssk, backlog); - 3910 : 1242 : release_sock(ssk); - 3911 : 1242 : mptcp_set_state(sk, inet_sk_state_load(ssk)); + 3908 : 1243 : lock_sock(ssk); + 3909 : 1243 : err = __inet_listen_sk(ssk, backlog); + 3910 : 1243 : release_sock(ssk); + 3911 : 1243 : mptcp_set_state(sk, inet_sk_state_load(ssk)); 3912 : : - 3913 [ - + ]: 1242 : if (!err) { - 3914 : 1242 : sock_prot_inuse_add(sock_net(sk), sk->sk_prot, 1); - 3915 : 1242 : mptcp_copy_inaddrs(sk, ssk); - 3916 : 1242 : mptcp_event_pm_listener(ssk, MPTCP_EVENT_LISTENER_CREATED); + 3913 [ - + ]: 1243 : if (!err) { + 3914 : 1243 : sock_prot_inuse_add(sock_net(sk), sk->sk_prot, 1); + 3915 : 1243 : mptcp_copy_inaddrs(sk, ssk); + 3916 : 1243 : mptcp_event_pm_listener(ssk, MPTCP_EVENT_LISTENER_CREATED); 3917 : : } 3918 : : 3919 : 0 : unlock: - 3920 : 1242 : release_sock(sk); - 3921 : 1242 : return err; + 3920 : 1243 : release_sock(sk); + 3921 : 1243 : return err; 3922 : : } 3923 : : 3924 : 1220 : static int mptcp_stream_accept(struct socket *sock, struct socket *newsock, @@ -4070,11 +4070,11 @@ 3971 : : /* set ssk->sk_socket of accept()ed flows to mptcp socket. 3972 : : * This is needed so NOSPACE flag can be set from tcp stack. 3973 : : */ - 3974 [ + + ]: 2245 : mptcp_for_each_subflow(msk, subflow) { - 3975 [ + - ]: 1125 : struct sock *ssk = mptcp_subflow_tcp_sock(subflow); + 3974 [ + + ]: 2244 : mptcp_for_each_subflow(msk, subflow) { + 3975 [ + - ]: 1124 : struct sock *ssk = mptcp_subflow_tcp_sock(subflow); 3976 : : - 3977 [ + - ]: 1125 : if (!ssk->sk_socket) - 3978 : 1125 : mptcp_sock_graft(ssk, newsock); + 3977 [ + - ]: 1124 : if (!ssk->sk_socket) + 3978 : 1124 : mptcp_sock_graft(ssk, newsock); 3979 : : } 3980 : : 3981 : : /* Do late cleanup for the first subflow as necessary. Also @@ -4105,36 +4105,36 @@ 4006 : 1214 : return 0; 4007 : : } 4008 : : - 4009 : 426355 : static __poll_t mptcp_check_writeable(struct mptcp_sock *msk) + 4009 : 348515 : static __poll_t mptcp_check_writeable(struct mptcp_sock *msk) 4010 : : { - 4011 : 426355 : struct sock *sk = (struct sock *)msk; + 4011 : 348515 : struct sock *sk = (struct sock *)msk; 4012 : : - 4013 [ + + ]: 426355 : if (__mptcp_stream_is_writeable(sk, 1)) + 4013 [ + + ]: 348515 : if (__mptcp_stream_is_writeable(sk, 1)) 4014 : : return EPOLLOUT | EPOLLWRNORM; 4015 : : - 4016 : 115363 : set_bit(SOCK_NOSPACE, &sk->sk_socket->flags); - 4017 : 115363 : smp_mb__after_atomic(); /* NOSPACE is changed by mptcp_write_space() */ - 4018 [ - + ]: 115363 : if (__mptcp_stream_is_writeable(sk, 1)) + 4016 : 85258 : set_bit(SOCK_NOSPACE, &sk->sk_socket->flags); + 4017 : 85258 : smp_mb__after_atomic(); /* NOSPACE is changed by mptcp_write_space() */ + 4018 [ - + ]: 85258 : if (__mptcp_stream_is_writeable(sk, 1)) 4019 : : return EPOLLOUT | EPOLLWRNORM; 4020 : : 4021 : : return 0; 4022 : : } 4023 : : - 4024 : 742881 : static __poll_t mptcp_poll(struct file *file, struct socket *sock, + 4024 : 658540 : static __poll_t mptcp_poll(struct file *file, struct socket *sock, 4025 : : struct poll_table_struct *wait) 4026 : : { - 4027 : 742881 : struct sock *sk = sock->sk; - 4028 : 742881 : struct mptcp_sock *msk; - 4029 : 742881 : __poll_t mask = 0; - 4030 : 742881 : u8 shutdown; - 4031 : 742881 : int state; + 4027 : 658540 : struct sock *sk = sock->sk; + 4028 : 658540 : struct mptcp_sock *msk; + 4029 : 658540 : __poll_t mask = 0; + 4030 : 658540 : u8 shutdown; + 4031 : 658540 : int state; 4032 : : - 4033 [ - + ]: 742881 : msk = mptcp_sk(sk); - 4034 : 742881 : sock_poll_wait(file, sock, wait); + 4033 [ - + ]: 658540 : msk = mptcp_sk(sk); + 4034 : 658540 : sock_poll_wait(file, sock, wait); 4035 : : - 4036 : 742881 : state = inet_sk_state_load(sk); - 4037 [ - + ]: 742881 : pr_debug("msk=%p state=%d flags=%lx\n", msk, state, msk->flags); - 4038 [ + + ]: 742881 : if (state == TCP_LISTEN) { + 4036 : 658540 : state = inet_sk_state_load(sk); + 4037 [ - + ]: 658540 : pr_debug("msk=%p state=%d flags=%lx\n", msk, state, msk->flags); + 4038 [ + + ]: 658540 : if (state == TCP_LISTEN) { 4039 : 1886 : struct sock *ssk = READ_ONCE(msk->first); 4040 : : 4041 [ - + ]: 1886 : if (WARN_ON_ONCE(!ssk)) @@ -4143,18 +4143,18 @@ 4044 [ + + ]: 2828 : return inet_csk_listen_poll(ssk); 4045 : : } 4046 : : - 4047 : 740995 : shutdown = READ_ONCE(sk->sk_shutdown); - 4048 [ + + ]: 740995 : if (shutdown == SHUTDOWN_MASK || state == TCP_CLOSE) - 4049 : 12442 : mask |= EPOLLHUP; - 4050 [ + + ]: 740995 : if (shutdown & RCV_SHUTDOWN) - 4051 : 220372 : mask |= EPOLLIN | EPOLLRDNORM | EPOLLRDHUP; + 4047 : 656654 : shutdown = READ_ONCE(sk->sk_shutdown); + 4048 [ + + ]: 656654 : if (shutdown == SHUTDOWN_MASK || state == TCP_CLOSE) + 4049 : 12725 : mask |= EPOLLHUP; + 4050 [ + + ]: 656654 : if (shutdown & RCV_SHUTDOWN) + 4051 : 229638 : mask |= EPOLLIN | EPOLLRDNORM | EPOLLRDHUP; 4052 : : - 4053 [ + - ]: 740995 : if (state != TCP_SYN_SENT && state != TCP_SYN_RECV) { - 4054 : 740995 : mask |= mptcp_check_readable(sk); - 4055 [ + + ]: 740995 : if (shutdown & SEND_SHUTDOWN) - 4056 : 314640 : mask |= EPOLLOUT | EPOLLWRNORM; + 4053 [ + - ]: 656654 : if (state != TCP_SYN_SENT && state != TCP_SYN_RECV) { + 4054 : 656654 : mask |= mptcp_check_readable(sk); + 4055 [ + + ]: 656654 : if (shutdown & SEND_SHUTDOWN) + 4056 : 308139 : mask |= EPOLLOUT | EPOLLWRNORM; 4057 : : else - 4058 : 426355 : mask |= mptcp_check_writeable(msk); + 4058 : 348515 : mask |= mptcp_check_writeable(msk); 4059 [ # # # # ]: 0 : } else if (state == TCP_SYN_SENT && 4060 [ # # ]: 0 : inet_test_bit(DEFER_CONNECT, sk)) { 4061 : : /* cf tcp_poll() note about TFO */ @@ -4162,9 +4162,9 @@ 4063 : : } 4064 : : 4065 : : /* This barrier is coupled with smp_wmb() in __mptcp_error_report() */ - 4066 : 740995 : smp_rmb(); - 4067 [ + + ]: 740995 : if (READ_ONCE(sk->sk_err)) - 4068 : 24 : mask |= EPOLLERR; + 4066 : 656654 : smp_rmb(); + 4067 [ + + ]: 656654 : if (READ_ONCE(sk->sk_err)) + 4068 : 19 : mask |= EPOLLERR; 4069 : : 4070 : : return mask; 4071 : : } @@ -4199,40 +4199,40 @@ 4100 : : .flags = INET_PROTOSW_ICSK, 4101 : : }; 4102 : : - 4103 : 37474 : static int mptcp_napi_poll(struct napi_struct *napi, int budget) + 4103 : 31945 : static int mptcp_napi_poll(struct napi_struct *napi, int budget) 4104 : : { - 4105 : 37474 : struct mptcp_delegated_action *delegated; - 4106 : 37474 : struct mptcp_subflow_context *subflow; - 4107 : 37474 : int work_done = 0; + 4105 : 31945 : struct mptcp_delegated_action *delegated; + 4106 : 31945 : struct mptcp_subflow_context *subflow; + 4107 : 31945 : int work_done = 0; 4108 : : - 4109 : 37474 : delegated = container_of(napi, struct mptcp_delegated_action, napi); - 4110 [ + + ]: 76122 : while ((subflow = mptcp_subflow_delegated_next(delegated)) != NULL) { - 4111 : 38648 : struct sock *ssk = mptcp_subflow_tcp_sock(subflow); + 4109 : 31945 : delegated = container_of(napi, struct mptcp_delegated_action, napi); + 4110 [ + + ]: 65048 : while ((subflow = mptcp_subflow_delegated_next(delegated)) != NULL) { + 4111 : 33103 : struct sock *ssk = mptcp_subflow_tcp_sock(subflow); 4112 : : - 4113 : 38648 : bh_lock_sock_nested(ssk); - 4114 [ + + ]: 38648 : if (!sock_owned_by_user(ssk)) { - 4115 : 30113 : mptcp_subflow_process_delegated(ssk, xchg(&subflow->delegated_status, 0)); + 4113 : 33103 : bh_lock_sock_nested(ssk); + 4114 [ + + ]: 33103 : if (!sock_owned_by_user(ssk)) { + 4115 : 27894 : mptcp_subflow_process_delegated(ssk, xchg(&subflow->delegated_status, 0)); 4116 : : } else { 4117 : : /* tcp_release_cb_override already processed 4118 : : * the action or will do at next release_sock(). 4119 : : * In both case must dequeue the subflow here - on the same 4120 : : * CPU that scheduled it. 4121 : : */ - 4122 : 8535 : smp_wmb(); - 4123 : 8535 : clear_bit(MPTCP_DELEGATE_SCHEDULED, &subflow->delegated_status); + 4122 : 5209 : smp_wmb(); + 4123 : 5209 : clear_bit(MPTCP_DELEGATE_SCHEDULED, &subflow->delegated_status); 4124 : : } - 4125 : 38648 : bh_unlock_sock(ssk); - 4126 : 38648 : sock_put(ssk); + 4125 : 33103 : bh_unlock_sock(ssk); + 4126 : 33103 : sock_put(ssk); 4127 : : - 4128 [ + - ]: 38648 : if (++work_done == budget) + 4128 [ + - ]: 33103 : if (++work_done == budget) 4129 : : return budget; 4130 : : } 4131 : : 4132 : : /* always provide a 0 'work_done' argument, so that napi_complete_done 4133 : : * will not try accessing the NULL napi->dev ptr 4134 : : */ - 4135 : 37474 : napi_complete_done(napi, 0); - 4136 : 37474 : return work_done; + 4135 : 31945 : napi_complete_done(napi, 0); + 4136 : 31945 : return work_done; 4137 : : } 4138 : : 4139 : 4 : void __init mptcp_proto_init(void) diff --git a/html/lcov/export/mptcp/protocol.h.func-c.html b/html/lcov/export/mptcp/protocol.h.func-c.html index 1bca7321..39295daa 100644 --- a/html/lcov/export/mptcp/protocol.h.func-c.html +++ b/html/lcov/export/mptcp/protocol.h.func-c.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -56,9 +56,9 @@ Branches: - 70.7 % - 566 - 400 + 70.5 % + 532 + 375 @@ -88,7 +88,7 @@ mptcp_send_active_reset_reason - 49 + 46 @@ -102,7 +102,7 @@ mptcp_pm_close_subflow - 92 + 94 @@ -116,14 +116,14 @@ __mptcp_pm_close_subflow - 388 + 387 __mptcp_has_initial_subflow - 1043 + 1031 @@ -137,7 +137,7 @@ mptcp_stop_tout_timer - 1100 + 1098 @@ -151,175 +151,175 @@ mptcp_space_from_win - 3485 + 2852 subflow_simultaneous_connect - 4985 + 4957 __mptcp_sync_sndbuf - 35521 + 33019 mptcp_check_infinite_map - 64476 + 41358 - mptcp_subflow_delegate + mptcp_subflow_delegated_next - 75912 + 65048 - mptcp_subflow_delegated_next + mptcp_subflow_delegate - 76122 + 66681 mptcp_rtx_head - 299413 + 237084 mptcp_propagate_sndbuf - 410939 + 321891 - mptcp_send_next + mptcp_write_space - 524261 + 426343 - mptcp_write_space + __mptcp_stream_is_writeable - 525061 + 433773 - __mptcp_stream_is_writeable + mptcp_send_next - 541718 + 457345 mptcp_check_fallback - 646910 + 533254 mptcp_pending_tail - 687578 + 607676 __tcp_can_send - 1081380 + 921261 mptcp_data_fin_enabled - 1168468 + 969696 __mptcp_subflow_active - 1218694 + 1061533 mptcp_epollin_ready - 1269805 + 1076208 mptcp_stream_memory_free - 1553198 + 1279607 mptcp_notsent_lowat - 2240776 + 1887283 mptcp_subflow_get_map_offset - 2980112 + 2454187 mptcp_send_head - 3308378 + 2877935 __mptcp_space - 4418217 + 3722657 mptcp_win_from_space - 5832148 + 4884071 __mptcp_rmem - 6018393 + 5061098 __mptcp_check_fallback - 6657416 + 5624328 diff --git a/html/lcov/export/mptcp/protocol.h.func.html b/html/lcov/export/mptcp/protocol.h.func.html index c675db60..939f89f3 100644 --- a/html/lcov/export/mptcp/protocol.h.func.html +++ b/html/lcov/export/mptcp/protocol.h.func.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -56,9 +56,9 @@ Branches: - 70.7 % - 566 - 400 + 70.5 % + 532 + 375 @@ -81,7 +81,7 @@ __mptcp_check_fallback - 6657416 + 5624328 @@ -95,77 +95,77 @@ __mptcp_has_initial_subflow - 1043 + 1031 __mptcp_pm_close_subflow - 388 + 387 __mptcp_rmem - 6018393 + 5061098 __mptcp_space - 4418217 + 3722657 __mptcp_stream_is_writeable - 541718 + 433773 __mptcp_subflow_active - 1218694 + 1061533 __mptcp_sync_sndbuf - 35521 + 33019 __tcp_can_send - 1081380 + 921261 mptcp_check_fallback - 646910 + 533254 mptcp_check_infinite_map - 64476 + 41358 mptcp_data_fin_enabled - 1168468 + 969696 @@ -179,7 +179,7 @@ mptcp_epollin_ready - 1269805 + 1076208 @@ -193,63 +193,63 @@ mptcp_notsent_lowat - 2240776 + 1887283 mptcp_pending_tail - 687578 + 607676 mptcp_pm_close_subflow - 92 + 94 mptcp_propagate_sndbuf - 410939 + 321891 mptcp_rtx_head - 299413 + 237084 mptcp_send_active_reset_reason - 49 + 46 mptcp_send_head - 3308378 + 2877935 mptcp_send_next - 524261 + 457345 mptcp_space_from_win - 3485 + 2852 @@ -263,28 +263,28 @@ mptcp_stop_tout_timer - 1100 + 1098 mptcp_stream_memory_free - 1553198 + 1279607 mptcp_subflow_delegate - 75912 + 66681 mptcp_subflow_delegated_next - 76122 + 65048 @@ -298,28 +298,28 @@ mptcp_subflow_get_map_offset - 2980112 + 2454187 mptcp_win_from_space - 5832148 + 4884071 mptcp_write_space - 525061 + 426343 subflow_simultaneous_connect - 4985 + 4957 diff --git a/html/lcov/export/mptcp/protocol.h.gcov.html b/html/lcov/export/mptcp/protocol.h.gcov.html index 11f3edd2..6417cbac 100644 --- a/html/lcov/export/mptcp/protocol.h.gcov.html +++ b/html/lcov/export/mptcp/protocol.h.gcov.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -56,9 +56,9 @@ Branches: - 70.7 % - 566 - 400 + 70.5 % + 532 + 375 @@ -212,23 +212,21 @@ 134 : : 135 : : #define MPTCP_SKB_CB(__skb) ((struct mptcp_skb_cb *)&((__skb)->cb[0])) 136 : : - 137 : 73418 : static inline bool before64(__u64 seq1, __u64 seq2) + 137 : 74194 : static inline bool before64(__u64 seq1, __u64 seq2) 138 : : { - 139 [ + + - - : 7133525 : return (__s64)(seq1 - seq2) < 0; - - + + + + - + + + ][ + - + + + + + - + + + + + - + + + - + - + + + + + - + + + + + - + + ][ + + - + + + + + - + + + + + - + - - + + - + + + - + - - - - - - - + ] + 139 [ + + ][ + + : 6077764 : return (__s64)(seq1 - seq2) < 0; + + + + + + + + + + + + + + + - + + + + + + + + + + + + + + + + ][ + + + + + + + + + + + + + + + + - - + + + + - + - + - + - - - - + - ] 140 : : } 141 : : 142 : : #define after64(seq2, seq1) before64(seq1, seq2) @@ -267,8 +265,8 @@ 175 : : 176 : 0 : static inline __be32 mptcp_option(u8 subopt, u8 len, u8 nib, u8 field) 177 : : { - 178 [ + - + + : 863867 : return htonl((TCPOPT_MPTCP << 24) | (len << 16) | (subopt << 12) | - + + + - ] + 178 [ + - + + : 733151 : return htonl((TCPOPT_MPTCP << 24) | (len << 16) | (subopt << 12) | + + + + - ] 179 : : ((nib & 0xF) << 8) | field); 180 : : } 181 : : @@ -449,9 +447,9 @@ 356 : : 357 : : extern struct genl_family mptcp_genl_family; 358 : : - 359 : 318255 : static inline void msk_owned_by_me(const struct mptcp_sock *msk) + 359 : 316570 : static inline void msk_owned_by_me(const struct mptcp_sock *msk) 360 : : { - 361 : 1087676 : sock_owned_by_me((const struct sock *)msk); + 361 : 888750 : sock_owned_by_me((const struct sock *)msk); 362 : : } 363 : : 364 : : #ifdef CONFIG_DEBUG_NET @@ -475,64 +473,64 @@ 382 : : /* the msk socket don't use the backlog, also account for the bulk 383 : : * free memory 384 : : */ - 385 : 6018393 : static inline int __mptcp_rmem(const struct sock *sk) + 385 : 5061098 : static inline int __mptcp_rmem(const struct sock *sk) 386 : : { - 387 [ - + ]: 6018393 : return atomic_read(&sk->sk_rmem_alloc) - READ_ONCE(mptcp_sk(sk)->rmem_released); + 387 [ - + ]: 5061098 : return atomic_read(&sk->sk_rmem_alloc) - READ_ONCE(mptcp_sk(sk)->rmem_released); 388 : : } 389 : : - 390 : 5832148 : static inline int mptcp_win_from_space(const struct sock *sk, int space) + 390 : 4884071 : static inline int mptcp_win_from_space(const struct sock *sk, int space) 391 : : { - 392 [ - + ]: 5832148 : return __tcp_win_from_space(mptcp_sk(sk)->scaling_ratio, space); + 392 [ - + ]: 4884071 : return __tcp_win_from_space(mptcp_sk(sk)->scaling_ratio, space); 393 : : } 394 : : - 395 : 3485 : static inline int mptcp_space_from_win(const struct sock *sk, int win) + 395 : 2852 : static inline int mptcp_space_from_win(const struct sock *sk, int win) 396 : : { - 397 [ - + ]: 3485 : return __tcp_space_from_win(mptcp_sk(sk)->scaling_ratio, win); + 397 [ - + ]: 2852 : return __tcp_space_from_win(mptcp_sk(sk)->scaling_ratio, win); 398 : : } 399 : : - 400 : 4418217 : static inline int __mptcp_space(const struct sock *sk) + 400 : 3722657 : static inline int __mptcp_space(const struct sock *sk) 401 : : { - 402 : 4418217 : return mptcp_win_from_space(sk, READ_ONCE(sk->sk_rcvbuf) - __mptcp_rmem(sk)); + 402 : 3722657 : return mptcp_win_from_space(sk, READ_ONCE(sk->sk_rcvbuf) - __mptcp_rmem(sk)); 403 : : } 404 : : - 405 : 3308378 : static inline struct mptcp_data_frag *mptcp_send_head(const struct sock *sk) + 405 : 2877935 : static inline struct mptcp_data_frag *mptcp_send_head(const struct sock *sk) 406 : : { - 407 [ - + ]: 3308378 : const struct mptcp_sock *msk = mptcp_sk(sk); + 407 [ - + ]: 2877935 : const struct mptcp_sock *msk = mptcp_sk(sk); 408 : : - 409 : 3308378 : return READ_ONCE(msk->first_pending); + 409 : 2877935 : return READ_ONCE(msk->first_pending); 410 : : } 411 : : - 412 : 524261 : static inline struct mptcp_data_frag *mptcp_send_next(struct sock *sk) + 412 : 457345 : static inline struct mptcp_data_frag *mptcp_send_next(struct sock *sk) 413 : : { - 414 [ - + ]: 524261 : struct mptcp_sock *msk = mptcp_sk(sk); - 415 : 524261 : struct mptcp_data_frag *cur; + 414 [ - + ]: 457345 : struct mptcp_sock *msk = mptcp_sk(sk); + 415 : 457345 : struct mptcp_data_frag *cur; 416 : : - 417 : 524261 : cur = msk->first_pending; - 418 [ + + ]: 524261 : return list_is_last(&cur->list, &msk->rtx_queue) ? NULL : - 419 : 121665 : list_next_entry(cur, list); + 417 : 457345 : cur = msk->first_pending; + 418 [ + + ]: 457345 : return list_is_last(&cur->list, &msk->rtx_queue) ? NULL : + 419 : 88920 : list_next_entry(cur, list); 420 : : } 421 : : - 422 : 687578 : static inline struct mptcp_data_frag *mptcp_pending_tail(const struct sock *sk) + 422 : 607676 : static inline struct mptcp_data_frag *mptcp_pending_tail(const struct sock *sk) 423 : : { - 424 [ - + ]: 687578 : const struct mptcp_sock *msk = mptcp_sk(sk); + 424 [ - + ]: 607676 : const struct mptcp_sock *msk = mptcp_sk(sk); 425 : : - 426 [ + + ]: 687578 : if (!msk->first_pending) + 426 [ + + ]: 607676 : if (!msk->first_pending) 427 : : return NULL; 428 : : - 429 [ - + + - ]: 284995 : if (WARN_ON_ONCE(list_empty(&msk->rtx_queue))) + 429 [ - + + - ]: 239262 : if (WARN_ON_ONCE(list_empty(&msk->rtx_queue))) 430 : : return NULL; 431 : : - 432 : 284995 : return list_last_entry(&msk->rtx_queue, struct mptcp_data_frag, list); + 432 : 239262 : return list_last_entry(&msk->rtx_queue, struct mptcp_data_frag, list); 433 : : } 434 : : - 435 : 299413 : static inline struct mptcp_data_frag *mptcp_rtx_head(struct sock *sk) + 435 : 237084 : static inline struct mptcp_data_frag *mptcp_rtx_head(struct sock *sk) 436 : : { - 437 [ - + ]: 299413 : struct mptcp_sock *msk = mptcp_sk(sk); + 437 [ - + ]: 237084 : struct mptcp_sock *msk = mptcp_sk(sk); 438 : : - 439 [ + + ]: 299413 : if (msk->snd_una == msk->snd_nxt) + 439 [ + + ]: 237084 : if (msk->snd_una == msk->snd_nxt) 440 : : return NULL; 441 : : - 442 [ + + ]: 242123 : return list_first_entry_or_null(&msk->rtx_queue, struct mptcp_data_frag, list); + 442 [ + + ]: 198655 : return list_first_entry_or_null(&msk->rtx_queue, struct mptcp_data_frag, list); 443 : : } 444 : : 445 : : struct csum_pseudo_header { @@ -671,69 +669,65 @@ 578 : : static inline struct mptcp_subflow_context * 579 : 84 : mptcp_subflow_ctx(const struct sock *sk) 580 : : { - 581 [ - + + - ]: 398451 : const struct inet_connection_sock *icsk = inet_csk(sk); + 581 [ - + + - ]: 323186 : const struct inet_connection_sock *icsk = inet_csk(sk); 582 : : 583 : : /* Use RCU on icsk_ulp_data only for sock diag code */ - 584 [ + + ][ + + : 28652643 : return (__force struct mptcp_subflow_context *)icsk->icsk_ulp_data; - + + + + - - + - + + + - + + + + - - + - + + + - + + + + - - - - + + + - + - + + - - + - + - + - + + + - + - + - + ][ - - + + + + + - - + + + - - + + + + + - - + - + - - + + + - + - + + - + - - + + - + - - - + - + - - + + - - - - + - - + ] - [ + + + - - - + - + + - + + + + + - + + + + - - + + + - + - - + + + ] - [ + + + + - - + - + + - + - + + - - + + - + - - + - + - + - + + + - ] + 584 [ + + ][ + + : 24193498 : return (__force struct mptcp_subflow_context *)icsk->icsk_ulp_data; + + - + - - + + - + + + + + + + + - + + - + + + + + + - + - + - - + + + + + - + + - + + - + - + + + + + - + + + - + ][ - + + + + - + + - + + + - + + + + + + + - + - + - + + - + + + + + + ][ + + + + - - + - + + + + + + + + + + + + + + - + + + + - + - + + + + ][ + + + + + - + - + + + + - + + + - + + - + + - + - + - + + + + + + - ] 585 : : } 586 : : 587 : : static inline struct sock * 588 : 0 : mptcp_subflow_tcp_sock(const struct mptcp_subflow_context *subflow) 589 : : { - 590 [ + - - + : 4976767 : return subflow->tcp_sock; - + - + + + - + - + - - - + + + + + - + - - - + 590 [ + - - + : 4331767 : return subflow->tcp_sock; + + - + + + + + - + - - + + + + + + + + - - - - ][ + + + - + + + + + - + + - - - - - + + + + - + + - - - + + + + + + + + + - - - + - + + + + + + + - - - - ] - [ - + + + ] + [ - + + + ] [ + + ] 591 : : } 592 : : 593 : : static inline void 594 : 30 : mptcp_subflow_ctx_reset(struct mptcp_subflow_context *subflow) 595 : : { - 596 : 752 : memset(&subflow->reset, 0, sizeof(subflow->reset)); - 597 : 752 : subflow->request_mptcp = 1; - 598 : 752 : WRITE_ONCE(subflow->local_id, -1); - 599 : 752 : } + 596 : 789 : memset(&subflow->reset, 0, sizeof(subflow->reset)); + 597 : 789 : subflow->request_mptcp = 1; + 598 : 789 : WRITE_ONCE(subflow->local_id, -1); + 599 : 789 : } 600 : : 601 : : /* Convert reset reasons in MPTCP to enum sk_rst_reason type */ 602 : : static inline enum sk_rst_reason @@ -763,71 +757,71 @@ 626 : : } 627 : : 628 : : static inline void - 629 : 49 : mptcp_send_active_reset_reason(struct sock *sk) + 629 : 46 : mptcp_send_active_reset_reason(struct sock *sk) 630 : : { - 631 : 49 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); - 632 : 49 : enum sk_rst_reason reason; + 631 : 46 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); + 632 : 46 : enum sk_rst_reason reason; 633 : : - 634 [ + - ]: 49 : reason = sk_rst_convert_mptcp_reason(subflow->reset_reason); - 635 : 49 : tcp_send_active_reset(sk, GFP_ATOMIC, reason); - 636 : 49 : } + 634 [ + - ]: 46 : reason = sk_rst_convert_mptcp_reason(subflow->reset_reason); + 635 : 46 : tcp_send_active_reset(sk, GFP_ATOMIC, reason); + 636 : 46 : } 637 : : 638 : : static inline u64 - 639 : 2980112 : mptcp_subflow_get_map_offset(const struct mptcp_subflow_context *subflow) + 639 : 2454187 : mptcp_subflow_get_map_offset(const struct mptcp_subflow_context *subflow) 640 : : { - 641 [ - + ]: 2980112 : return tcp_sk(mptcp_subflow_tcp_sock(subflow))->copied_seq - - 642 : 2980112 : subflow->ssn_offset - - 643 : 2980112 : subflow->map_subflow_seq; + 641 [ - + ]: 2454187 : return tcp_sk(mptcp_subflow_tcp_sock(subflow))->copied_seq - + 642 : 2454187 : subflow->ssn_offset - + 643 : 2454187 : subflow->map_subflow_seq; 644 : : } 645 : : 646 : : static inline u64 - 647 : 143284 : mptcp_subflow_get_mapped_dsn(const struct mptcp_subflow_context *subflow) + 647 : 144797 : mptcp_subflow_get_mapped_dsn(const struct mptcp_subflow_context *subflow) 648 : : { - 649 [ + + ]: 1279077 : return subflow->map_seq + mptcp_subflow_get_map_offset(subflow); + 649 [ + + ]: 1054256 : return subflow->map_seq + mptcp_subflow_get_map_offset(subflow); 650 : : } 651 : : 652 : : void mptcp_subflow_process_delegated(struct sock *ssk, long actions); 653 : : - 654 : 75912 : static inline void mptcp_subflow_delegate(struct mptcp_subflow_context *subflow, int action) + 654 : 66681 : static inline void mptcp_subflow_delegate(struct mptcp_subflow_context *subflow, int action) 655 : : { - 656 [ - + ]: 75912 : long old, set_bits = BIT(MPTCP_DELEGATE_SCHEDULED) | BIT(action); - 657 : 75912 : struct mptcp_delegated_action *delegated; - 658 : 75912 : bool schedule; + 656 [ - + ]: 66681 : long old, set_bits = BIT(MPTCP_DELEGATE_SCHEDULED) | BIT(action); + 657 : 66681 : struct mptcp_delegated_action *delegated; + 658 : 66681 : bool schedule; 659 : : 660 : : /* the caller held the subflow bh socket lock */ - 661 [ + - + - : 75912 : lockdep_assert_in_softirq(); - + - + - - - + ] + 661 [ + - + - : 66681 : lockdep_assert_in_softirq(); + + - + - - + + ] 662 : : 663 : : /* The implied barrier pairs with tcp_release_cb_override() 664 : : * mptcp_napi_poll(), and ensures the below list check sees list 665 : : * updates done prior to delegated status bits changes 666 : : */ - 667 [ - + - + ]: 75912 : old = set_mask_bits(&subflow->delegated_status, 0, set_bits); - 668 [ + + ]: 75912 : if (!(old & BIT(MPTCP_DELEGATE_SCHEDULED))) { - 669 [ - + + - ]: 38648 : if (WARN_ON_ONCE(!list_empty(&subflow->delegated_node))) + 667 [ - + - + ]: 66681 : old = set_mask_bits(&subflow->delegated_status, 0, set_bits); + 668 [ + + ]: 66681 : if (!(old & BIT(MPTCP_DELEGATE_SCHEDULED))) { + 669 [ - + + - ]: 33103 : if (WARN_ON_ONCE(!list_empty(&subflow->delegated_node))) 670 : : return; 671 : : - 672 : 38648 : delegated = this_cpu_ptr(&mptcp_delegated_actions); - 673 : 38648 : schedule = list_empty(&delegated->head); - 674 : 38648 : list_add_tail(&subflow->delegated_node, &delegated->head); - 675 : 38648 : sock_hold(mptcp_subflow_tcp_sock(subflow)); - 676 [ + + ]: 38648 : if (schedule) - 677 : 37577 : napi_schedule(&delegated->napi); + 672 : 33103 : delegated = this_cpu_ptr(&mptcp_delegated_actions); + 673 : 33103 : schedule = list_empty(&delegated->head); + 674 : 33103 : list_add_tail(&subflow->delegated_node, &delegated->head); + 675 : 33103 : sock_hold(mptcp_subflow_tcp_sock(subflow)); + 676 [ + + ]: 33103 : if (schedule) + 677 : 32005 : napi_schedule(&delegated->napi); 678 : : } 679 : : } 680 : : 681 : : static inline struct mptcp_subflow_context * - 682 : 76122 : mptcp_subflow_delegated_next(struct mptcp_delegated_action *delegated) + 682 : 65048 : mptcp_subflow_delegated_next(struct mptcp_delegated_action *delegated) 683 : : { - 684 : 76122 : struct mptcp_subflow_context *ret; + 684 : 65048 : struct mptcp_subflow_context *ret; 685 : : - 686 [ + + ]: 76122 : if (list_empty(&delegated->head)) + 686 [ + + ]: 65048 : if (list_empty(&delegated->head)) 687 : : return NULL; 688 : : - 689 : 38648 : ret = list_first_entry(&delegated->head, struct mptcp_subflow_context, delegated_node); - 690 : 38648 : list_del_init(&ret->delegated_node); - 691 : 38648 : return ret; + 689 : 33103 : ret = list_first_entry(&delegated->head, struct mptcp_subflow_context, delegated_node); + 690 : 33103 : list_del_init(&ret->delegated_node); + 691 : 33103 : return ret; 692 : : } 693 : : 694 : : int mptcp_is_enabled(const struct net *net); @@ -896,38 +890,38 @@ 757 : : int mptcp_sched_get_send(struct mptcp_sock *msk); 758 : : int mptcp_sched_get_retrans(struct mptcp_sock *msk); 759 : : - 760 : 127731 : static inline u64 mptcp_data_avail(const struct mptcp_sock *msk) + 760 : 128432 : static inline u64 mptcp_data_avail(const struct mptcp_sock *msk) 761 : : { - 762 [ + + ]: 638782 : return READ_ONCE(msk->bytes_received) - READ_ONCE(msk->bytes_consumed); + 762 [ + + ]: 526820 : return READ_ONCE(msk->bytes_received) - READ_ONCE(msk->bytes_consumed); 763 : : } 764 : : - 765 : 1269805 : static inline bool mptcp_epollin_ready(const struct sock *sk) + 765 : 1076208 : static inline bool mptcp_epollin_ready(const struct sock *sk) 766 : : { 767 : : /* mptcp doesn't have to deal with small skbs in the receive queue, 768 : : * at it can always coalesce them 769 : : */ - 770 [ - + ]: 1269805 : return (mptcp_data_avail(mptcp_sk(sk)) >= sk->sk_rcvlowat) || + 770 [ - + ]: 1076208 : return (mptcp_data_avail(mptcp_sk(sk)) >= sk->sk_rcvlowat) || 771 : : (mem_cgroup_sockets_enabled && sk->sk_memcg && - 772 [ + + ]: 1269805 : mem_cgroup_under_socket_pressure(sk->sk_memcg)) || - 773 [ - + ]: 383327 : READ_ONCE(tcp_memory_pressure); + 772 [ + + ]: 1076208 : mem_cgroup_under_socket_pressure(sk->sk_memcg)) || + 773 [ - + ]: 353450 : READ_ONCE(tcp_memory_pressure); 774 : : } 775 : : 776 : : int mptcp_set_rcvlowat(struct sock *sk, int val); 777 : : - 778 : 1315773 : static inline bool __tcp_can_send(const struct sock *ssk) + 778 : 1161755 : static inline bool __tcp_can_send(const struct sock *ssk) 779 : : { 780 : : /* only send if our side has not closed yet */ - 781 [ + + ]: 1476652 : return ((1 << inet_sk_state_load(ssk)) & (TCPF_ESTABLISHED | TCPF_CLOSE_WAIT)); + 781 [ + + ]: 1286468 : return ((1 << inet_sk_state_load(ssk)) & (TCPF_ESTABLISHED | TCPF_CLOSE_WAIT)); 782 : : } 783 : : - 784 : 1218694 : static inline bool __mptcp_subflow_active(struct mptcp_subflow_context *subflow) + 784 : 1061533 : static inline bool __mptcp_subflow_active(struct mptcp_subflow_context *subflow) 785 : : { 786 : : /* can't send if JOIN hasn't completed yet (i.e. is usable for mptcp) */ - 787 [ + + + + : 1218694 : if (subflow->request_join && !READ_ONCE(subflow->fully_established)) - + + ] + 787 [ + + + + : 1061533 : if (subflow->request_join && !READ_ONCE(subflow->fully_established)) + + + ] 788 : : return false; 789 : : - 790 : 1218327 : return __tcp_can_send(mptcp_subflow_tcp_sock(subflow)); + 790 : 1061170 : return __tcp_can_send(mptcp_subflow_tcp_sock(subflow)); 791 : : } 792 : : 793 : : void mptcp_subflow_set_active(struct mptcp_subflow_context *subflow); @@ -939,12 +933,12 @@ 799 : 24 : static inline void mptcp_subflow_tcp_fallback(struct sock *sk, 800 : : struct mptcp_subflow_context *ctx) 801 : : { - 802 : 144 : sk->sk_data_ready = sock_def_readable; - 803 : 144 : sk->sk_state_change = ctx->tcp_state_change; - 804 : 144 : sk->sk_write_space = sk_stream_write_space; - 805 : 144 : sk->sk_error_report = ctx->tcp_error_report; + 802 : 145 : sk->sk_data_ready = sock_def_readable; + 803 : 145 : sk->sk_state_change = ctx->tcp_state_change; + 804 : 145 : sk->sk_write_space = sk_stream_write_space; + 805 : 145 : sk->sk_error_report = ctx->tcp_error_report; 806 : : - 807 [ - + ]: 144 : inet_csk(sk)->icsk_af_ops = ctx->icsk_af_ops; + 807 [ - + ]: 145 : inet_csk(sk)->icsk_af_ops = ctx->icsk_af_ops; 808 : : } 809 : : 810 : : void __init mptcp_proto_init(void); @@ -963,9 +957,9 @@ 823 : : void __mptcp_sync_state(struct sock *sk, int state); 824 : : void mptcp_reset_tout_timer(struct mptcp_sock *msk, unsigned long fail_tout); 825 : : - 826 : 1100 : static inline void mptcp_stop_tout_timer(struct sock *sk) + 826 : 1098 : static inline void mptcp_stop_tout_timer(struct sock *sk) 827 : : { - 828 [ + + ]: 1100 : if (!inet_csk(sk)->icsk_mtup.probe_timestamp) + 828 [ + + ]: 1098 : if (!inet_csk(sk)->icsk_mtup.probe_timestamp) 829 : : return; 830 : : 831 : 4 : sk_stop_timer(sk, &sk->sk_timer); @@ -1001,78 +995,78 @@ 860 : : char __user *optval, int __user *option); 861 : : 862 : : u64 __mptcp_expand_seq(u64 old_seq, u64 cur_seq); - 863 : 196503 : static inline u64 mptcp_expand_seq(u64 old_seq, u64 cur_seq, bool use_64bit) + 863 : 200809 : static inline u64 mptcp_expand_seq(u64 old_seq, u64 cur_seq, bool use_64bit) 864 : : { - 865 [ + + + + ]: 1652489 : if (use_64bit) - [ + + + + ] + 865 [ + + ]: 1387913 : if (use_64bit) + [ + + + + ] 866 : : return cur_seq; 867 : : - 868 : 88037 : return __mptcp_expand_seq(old_seq, cur_seq); + 868 : 20939 : return __mptcp_expand_seq(old_seq, cur_seq); 869 : : } 870 : : void __mptcp_check_push(struct sock *sk, struct sock *ssk); 871 : : void __mptcp_data_acked(struct sock *sk); 872 : : void __mptcp_error_report(struct sock *sk); 873 : : bool mptcp_update_rcv_data_fin(struct mptcp_sock *msk, u64 data_fin_seq, bool use_64bit); - 874 : 1368887 : static inline bool mptcp_data_fin_enabled(const struct mptcp_sock *msk) + 874 : 1172404 : static inline bool mptcp_data_fin_enabled(const struct mptcp_sock *msk) 875 : : { - 876 [ + + + + ]: 2081628 : return READ_ONCE(msk->snd_data_fin_enable) && - [ + + + + ] - 877 [ + + - + ]: 130287 : READ_ONCE(msk->write_seq) == READ_ONCE(msk->snd_nxt); - [ + + - + ] + 876 [ + + + + ]: 1778524 : return READ_ONCE(msk->snd_data_fin_enable) && + [ + + + + ] + 877 [ + + - + ]: 109205 : READ_ONCE(msk->write_seq) == READ_ONCE(msk->snd_nxt); + [ + + - + ] 878 : : } 879 : : - 880 : 2240776 : static inline u32 mptcp_notsent_lowat(const struct sock *sk) + 880 : 1887283 : static inline u32 mptcp_notsent_lowat(const struct sock *sk) 881 : : { - 882 [ - + ]: 2240776 : struct net *net = sock_net(sk); - 883 : 2240776 : u32 val; + 882 [ - + ]: 1887283 : struct net *net = sock_net(sk); + 883 : 1887283 : u32 val; 884 : : - 885 [ - + ]: 2240776 : val = READ_ONCE(mptcp_sk(sk)->notsent_lowat); - 886 [ + - ]: 2240776 : return val ?: READ_ONCE(net->ipv4.sysctl_tcp_notsent_lowat); + 885 [ - + ]: 1887283 : val = READ_ONCE(mptcp_sk(sk)->notsent_lowat); + 886 [ + - ]: 1887283 : return val ?: READ_ONCE(net->ipv4.sysctl_tcp_notsent_lowat); 887 : : } 888 : : - 889 : 1553198 : static inline bool mptcp_stream_memory_free(const struct sock *sk, int wake) + 889 : 1279607 : static inline bool mptcp_stream_memory_free(const struct sock *sk, int wake) 890 : : { - 891 [ - + ]: 1553198 : const struct mptcp_sock *msk = mptcp_sk(sk); - 892 : 1553198 : u32 notsent_bytes; + 891 [ - + ]: 1279607 : const struct mptcp_sock *msk = mptcp_sk(sk); + 892 : 1279607 : u32 notsent_bytes; 893 : : - 894 : 1553198 : notsent_bytes = READ_ONCE(msk->write_seq) - READ_ONCE(msk->snd_nxt); - 895 [ - + ]: 1553198 : return (notsent_bytes << wake) < mptcp_notsent_lowat(sk); + 894 : 1279607 : notsent_bytes = READ_ONCE(msk->write_seq) - READ_ONCE(msk->snd_nxt); + 895 [ - + ]: 1279607 : return (notsent_bytes << wake) < mptcp_notsent_lowat(sk); 896 : : } 897 : : - 898 : 541718 : static inline bool __mptcp_stream_is_writeable(const struct sock *sk, int wake) + 898 : 433773 : static inline bool __mptcp_stream_is_writeable(const struct sock *sk, int wake) 899 : : { - 900 [ + - + + ]: 1083436 : return mptcp_stream_memory_free(sk, wake) && - 901 : 541718 : __sk_stream_is_writeable(sk, wake); + 900 [ + - + + ]: 867546 : return mptcp_stream_memory_free(sk, wake) && + 901 : 433773 : __sk_stream_is_writeable(sk, wake); 902 : : } 903 : : - 904 : 525061 : static inline void mptcp_write_space(struct sock *sk) + 904 : 426343 : static inline void mptcp_write_space(struct sock *sk) 905 : : { 906 : : /* pairs with memory barrier in mptcp_poll */ - 907 : 525061 : smp_mb(); - 908 [ + - ]: 525061 : if (mptcp_stream_memory_free(sk, 1)) - 909 : 525061 : sk_stream_write_space(sk); - 910 : 525061 : } + 907 : 426343 : smp_mb(); + 908 [ + - ]: 426343 : if (mptcp_stream_memory_free(sk, 1)) + 909 : 426343 : sk_stream_write_space(sk); + 910 : 426343 : } 911 : : - 912 : 35521 : static inline void __mptcp_sync_sndbuf(struct sock *sk) + 912 : 33019 : static inline void __mptcp_sync_sndbuf(struct sock *sk) 913 : : { - 914 : 35521 : struct mptcp_subflow_context *subflow; - 915 : 35521 : int ssk_sndbuf, new_sndbuf; + 914 : 33019 : struct mptcp_subflow_context *subflow; + 915 : 33019 : int ssk_sndbuf, new_sndbuf; 916 : : - 917 [ + - ]: 35521 : if (sk->sk_userlocks & SOCK_SNDBUF_LOCK) + 917 [ + - ]: 33019 : if (sk->sk_userlocks & SOCK_SNDBUF_LOCK) 918 : : return; 919 : : - 920 [ - + ]: 35521 : new_sndbuf = READ_ONCE(sock_net(sk)->ipv4.sysctl_tcp_wmem[0]); - 921 [ - + - + : 106194 : mptcp_for_each_subflow(mptcp_sk(sk), subflow) { - + + ] - 922 : 70673 : ssk_sndbuf = READ_ONCE(mptcp_subflow_tcp_sock(subflow)->sk_sndbuf); + 920 [ - + ]: 33019 : new_sndbuf = READ_ONCE(sock_net(sk)->ipv4.sysctl_tcp_wmem[0]); + 921 [ - + - + : 97424 : mptcp_for_each_subflow(mptcp_sk(sk), subflow) { + + + ] + 922 : 64405 : ssk_sndbuf = READ_ONCE(mptcp_subflow_tcp_sock(subflow)->sk_sndbuf); 923 : : - 924 : 70673 : subflow->cached_sndbuf = ssk_sndbuf; - 925 : 70673 : new_sndbuf += ssk_sndbuf; + 924 : 64405 : subflow->cached_sndbuf = ssk_sndbuf; + 925 : 64405 : new_sndbuf += ssk_sndbuf; 926 : : } 927 : : 928 : : /* the msk max wmem limit is <nr_subflows> * tcp wmem[2] */ - 929 : 35521 : WRITE_ONCE(sk->sk_sndbuf, new_sndbuf); - 930 : 35521 : mptcp_write_space(sk); + 929 : 33019 : WRITE_ONCE(sk->sk_sndbuf, new_sndbuf); + 930 : 33019 : mptcp_write_space(sk); 931 : : } 932 : : 933 : : /* The called held both the msk socket and the subflow socket locks, @@ -1092,16 +1086,16 @@ 946 : : * so we can't acquire such lock here: let the delegate action acquires 947 : : * the needed locks in suitable order. 948 : : */ - 949 : 410939 : static inline void mptcp_propagate_sndbuf(struct sock *sk, struct sock *ssk) + 949 : 321891 : static inline void mptcp_propagate_sndbuf(struct sock *sk, struct sock *ssk) 950 : : { - 951 : 410939 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); + 951 : 321891 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); 952 : : - 953 [ + + ]: 410939 : if (likely(READ_ONCE(ssk->sk_sndbuf) == subflow->cached_sndbuf)) + 953 [ + + ]: 321891 : if (likely(READ_ONCE(ssk->sk_sndbuf) == subflow->cached_sndbuf)) 954 : : return; 955 : : - 956 : 71093 : local_bh_disable(); - 957 : 71093 : mptcp_subflow_delegate(subflow, MPTCP_DELEGATE_SNDBUF); - 958 : 71093 : local_bh_enable(); + 956 : 61803 : local_bh_disable(); + 957 : 61803 : mptcp_subflow_delegate(subflow, MPTCP_DELEGATE_SNDBUF); + 958 : 61803 : local_bh_enable(); 959 : : } 960 : : 961 : : void mptcp_destroy_common(struct mptcp_sock *msk, unsigned int flags); @@ -1111,7 +1105,7 @@ 965 : : void __init mptcp_token_init(void); 966 : 126 : static inline void mptcp_token_init_request(struct request_sock *req) 967 : : { - 968 : 1839 : mptcp_subflow_rsk(req)->token_node.pprev = NULL; + 968 : 1840 : mptcp_subflow_rsk(req)->token_node.pprev = NULL; 969 : : } 970 : : 971 : : int mptcp_token_new_request(struct request_sock *req); @@ -1208,10 +1202,10 @@ 1062 : : int mptcp_nl_fill_addr(struct sk_buff *skb, 1063 : : struct mptcp_pm_addr_entry *entry); 1064 : : - 1065 : 406118 : static inline bool mptcp_pm_should_add_signal(struct mptcp_sock *msk) + 1065 : 409904 : static inline bool mptcp_pm_should_add_signal(struct mptcp_sock *msk) 1066 : : { - 1067 [ + + + - ]: 2046856 : return READ_ONCE(msk->pm.addr_signal) & - [ + + - - ] + 1067 [ + + + - ]: 1753564 : return READ_ONCE(msk->pm.addr_signal) & + [ + + - - ] 1068 : : (BIT(MPTCP_ADD_ADDR_SIGNAL) | BIT(MPTCP_ADD_ADDR_ECHO)); 1069 : : } 1070 : : @@ -1225,22 +1219,22 @@ 1078 [ + + ]: 755 : return READ_ONCE(msk->pm.addr_signal) & BIT(MPTCP_ADD_ADDR_ECHO); 1079 : : } 1080 : : - 1081 : 406106 : static inline bool mptcp_pm_should_rm_signal(struct mptcp_sock *msk) + 1081 : 409892 : static inline bool mptcp_pm_should_rm_signal(struct mptcp_sock *msk) 1082 : : { - 1083 [ + + ]: 2044578 : return READ_ONCE(msk->pm.addr_signal) & BIT(MPTCP_RM_ADDR_SIGNAL); + 1083 [ + + ]: 1751285 : return READ_ONCE(msk->pm.addr_signal) & BIT(MPTCP_RM_ADDR_SIGNAL); 1084 : : } 1085 : : 1086 : 60 : static inline bool mptcp_pm_is_userspace(const struct mptcp_sock *msk) 1087 : : { - 1088 [ + + ][ + + : 7267 : return READ_ONCE(msk->pm.pm_type) == MPTCP_PM_TYPE_USERSPACE; - + + + + + - + + + ] + 1088 [ + + ][ + + : 7283 : return READ_ONCE(msk->pm.pm_type) == MPTCP_PM_TYPE_USERSPACE; + + + + + + + + + + ] [ - + + + ] 1089 : : } 1090 : : - 1091 : 25 : static inline bool mptcp_pm_is_kernel(const struct mptcp_sock *msk) + 1091 : 23 : static inline bool mptcp_pm_is_kernel(const struct mptcp_sock *msk) 1092 : : { - 1093 [ + + ]: 1133 : return READ_ONCE(msk->pm.pm_type) == MPTCP_PM_TYPE_KERNEL; + 1093 [ + + ]: 1121 : return READ_ONCE(msk->pm.pm_type) == MPTCP_PM_TYPE_KERNEL; [ - + - - ] 1094 : : } 1095 : : @@ -1248,8 +1242,8 @@ 1097 : : { 1098 : 1510 : u8 len = TCPOLEN_MPTCP_ADD_ADDR_BASE; 1099 : : - 1100 [ + + ]: 1510 : if (family == AF_INET6) - 1101 : 340 : len = TCPOLEN_MPTCP_ADD_ADDR6_BASE; + 1100 [ + + ]: 1510 : if (family == AF_INET6) + 1101 : 338 : len = TCPOLEN_MPTCP_ADD_ADDR6_BASE; 1102 [ + + ]: 1510 : if (!echo) 1103 : 808 : len += MPTCPOPT_THMAC_LEN; 1104 : : /* account for 2 trailing 'nop' options */ @@ -1306,47 +1300,47 @@ 1155 : : unsigned int mptcp_pm_get_local_addr_max(const struct mptcp_sock *msk); 1156 : : 1157 : : /* called under PM lock */ - 1158 : 388 : static inline void __mptcp_pm_close_subflow(struct mptcp_sock *msk) + 1158 : 387 : static inline void __mptcp_pm_close_subflow(struct mptcp_sock *msk) 1159 : : { - 1160 [ + - ]: 388 : if (--msk->pm.subflows < mptcp_pm_get_subflows_max(msk)) - 1161 : 388 : WRITE_ONCE(msk->pm.accept_subflow, true); - 1162 : 388 : } + 1160 [ + - ]: 387 : if (--msk->pm.subflows < mptcp_pm_get_subflows_max(msk)) + 1161 : 387 : WRITE_ONCE(msk->pm.accept_subflow, true); + 1162 : 387 : } 1163 : : - 1164 : 92 : static inline void mptcp_pm_close_subflow(struct mptcp_sock *msk) + 1164 : 94 : static inline void mptcp_pm_close_subflow(struct mptcp_sock *msk) 1165 : : { - 1166 : 92 : spin_lock_bh(&msk->pm.lock); - 1167 : 92 : __mptcp_pm_close_subflow(msk); - 1168 : 92 : spin_unlock_bh(&msk->pm.lock); - 1169 : 92 : } + 1166 : 94 : spin_lock_bh(&msk->pm.lock); + 1167 : 94 : __mptcp_pm_close_subflow(msk); + 1168 : 94 : spin_unlock_bh(&msk->pm.lock); + 1169 : 94 : } 1170 : : 1171 : : void mptcp_sockopt_sync_locked(struct mptcp_sock *msk, struct sock *ssk); 1172 : : 1173 : 0 : static inline struct mptcp_ext *mptcp_get_ext(const struct sk_buff *skb) 1174 : : { - 1175 [ + + + - : 2431665 : return (struct mptcp_ext *)skb_ext_find(skb, SKB_EXT_MPTCP); + 1175 [ + + + - : 2061926 : return (struct mptcp_ext *)skb_ext_find(skb, SKB_EXT_MPTCP); + + - - - - - ][ + - + - - + + + + + - ][ + - + + - + + + + + + + - - - - ][ + - + - + + + + - + ] + - ][ + - + + + + + + + + ] 1176 : : } 1177 : : 1178 : : void mptcp_diag_subflow_init(struct tcp_ulp_ops *ops); 1179 : : - 1180 : 6657416 : static inline bool __mptcp_check_fallback(const struct mptcp_sock *msk) + 1180 : 5624328 : static inline bool __mptcp_check_fallback(const struct mptcp_sock *msk) 1181 : : { - 1182 [ - + - - : 6657416 : return test_bit(MPTCP_FALLBACK_DONE, &msk->flags); + 1182 [ - + - - : 5624328 : return test_bit(MPTCP_FALLBACK_DONE, &msk->flags); - - ] 1183 : : } 1184 : : - 1185 : 646910 : static inline bool mptcp_check_fallback(const struct sock *sk) + 1185 : 533254 : static inline bool mptcp_check_fallback(const struct sock *sk) 1186 : : { - 1187 : 646910 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); - 1188 [ - + ]: 646910 : struct mptcp_sock *msk = mptcp_sk(subflow->conn); + 1187 : 533254 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); + 1188 [ - + ]: 533254 : struct mptcp_sock *msk = mptcp_sk(subflow->conn); 1189 : : - 1190 : 646910 : return __mptcp_check_fallback(msk); + 1190 : 533254 : return __mptcp_check_fallback(msk); 1191 : : } 1192 : : 1193 : 100 : static inline void __mptcp_do_fallback(struct mptcp_sock *msk) @@ -1358,12 +1352,12 @@ 1199 : 100 : set_bit(MPTCP_FALLBACK_DONE, &msk->flags); 1200 : : } 1201 : : - 1202 : 1043 : static inline bool __mptcp_has_initial_subflow(const struct mptcp_sock *msk) + 1202 : 1031 : static inline bool __mptcp_has_initial_subflow(const struct mptcp_sock *msk) 1203 : : { - 1204 : 1043 : struct sock *ssk = READ_ONCE(msk->first); + 1204 : 1031 : struct sock *ssk = READ_ONCE(msk->first); 1205 : : - 1206 [ + - + + : 2086 : return ssk && ((1 << inet_sk_state_load(ssk)) & - + + ] + 1206 [ + - + + : 2062 : return ssk && ((1 << inet_sk_state_load(ssk)) & + + + ] 1207 : : (TCPF_ESTABLISHED | TCPF_SYN_SENT | 1208 : : TCPF_SYN_RECV | TCPF_LISTEN)); 1209 : : } @@ -1400,12 +1394,12 @@ 1239 : 18 : __mptcp_do_fallback(msk); 1240 : 18 : } 1241 : : - 1242 : 64476 : static inline bool mptcp_check_infinite_map(struct sk_buff *skb) + 1242 : 41358 : static inline bool mptcp_check_infinite_map(struct sk_buff *skb) 1243 : : { - 1244 : 64476 : struct mptcp_ext *mpext; + 1244 : 41358 : struct mptcp_ext *mpext; 1245 : : - 1246 [ + + ]: 64476 : mpext = skb ? mptcp_get_ext(skb) : NULL; - 1247 [ + + + + ]: 11391 : if (mpext && mpext->infinite_map) + 1246 [ + + ]: 41358 : mpext = skb ? mptcp_get_ext(skb) : NULL; + 1247 [ + + + + ]: 6667 : if (mpext && mpext->infinite_map) 1248 : 1 : return true; 1249 : : 1250 : : return false; @@ -1413,18 +1407,18 @@ 1252 : : 1253 : 246 : static inline bool is_active_ssk(struct mptcp_subflow_context *subflow) 1254 : : { - 1255 : 3400 : return (subflow->request_mptcp || subflow->request_join); + 1255 : 3405 : return (subflow->request_mptcp || subflow->request_join); 1256 : : } 1257 : : - 1258 : 4985 : static inline bool subflow_simultaneous_connect(struct sock *sk) + 1258 : 4957 : static inline bool subflow_simultaneous_connect(struct sock *sk) 1259 : : { - 1260 : 4985 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); + 1260 : 4957 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); 1261 : : - 1262 : 2517 : return (1 << sk->sk_state) & - 1263 [ + + ]: 3400 : (TCPF_ESTABLISHED | TCPF_FIN_WAIT1 | TCPF_FIN_WAIT2 | TCPF_CLOSING) && - 1264 [ + + + + : 4985 : is_active_ssk(subflow) && + 1262 : 2499 : return (1 << sk->sk_state) & + 1263 [ + + ]: 3405 : (TCPF_ESTABLISHED | TCPF_FIN_WAIT1 | TCPF_FIN_WAIT2 | TCPF_CLOSING) && + 1264 [ + + + + : 4957 : is_active_ssk(subflow) && + + ] - 1265 [ + - ]: 1721 : !subflow->conn_finished; + 1265 [ + - ]: 1728 : !subflow->conn_finished; 1266 : : } 1267 : : 1268 : : #ifdef CONFIG_SYN_COOKIES diff --git a/html/lcov/export/mptcp/sched.c.func-c.html b/html/lcov/export/mptcp/sched.c.func-c.html index 1e7ccef9..14de60b7 100644 --- a/html/lcov/export/mptcp/sched.c.func-c.html +++ b/html/lcov/export/mptcp/sched.c.func-c.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -130,35 +130,35 @@ mptcp_sched_get_retrans - 12962 + 9237 mptcp_sched_data_set_contexts - 196600 + 196507 mptcp_sched_default_get_subflow - 490911 + 411841 mptcp_sched_get_send - 753878 + 660337 mptcp_subflow_set_scheduled - 912393 + 836949 diff --git a/html/lcov/export/mptcp/sched.c.func.html b/html/lcov/export/mptcp/sched.c.func.html index 9a318dca..82ad6666 100644 --- a/html/lcov/export/mptcp/sched.c.func.html +++ b/html/lcov/export/mptcp/sched.c.func.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -109,14 +109,14 @@ mptcp_sched_data_set_contexts - 196600 + 196507 mptcp_sched_default_get_subflow - 490911 + 411841 @@ -130,14 +130,14 @@ mptcp_sched_get_retrans - 12962 + 9237 mptcp_sched_get_send - 753878 + 660337 @@ -151,7 +151,7 @@ mptcp_subflow_set_scheduled - 912393 + 836949 diff --git a/html/lcov/export/mptcp/sched.c.gcov.html b/html/lcov/export/mptcp/sched.c.gcov.html index 27774302..a7d9f05a 100644 --- a/html/lcov/export/mptcp/sched.c.gcov.html +++ b/html/lcov/export/mptcp/sched.c.gcov.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -94,18 +94,18 @@ 16 : : static DEFINE_SPINLOCK(mptcp_sched_list_lock); 17 : : static LIST_HEAD(mptcp_sched_list); 18 : : - 19 : 490911 : static int mptcp_sched_default_get_subflow(struct mptcp_sock *msk, + 19 : 411841 : static int mptcp_sched_default_get_subflow(struct mptcp_sock *msk, 20 : : struct mptcp_sched_data *data) 21 : : { - 22 : 490911 : struct sock *ssk; + 22 : 411841 : struct sock *ssk; 23 : : - 24 [ + + + + ]: 490911 : ssk = data->reinject ? mptcp_subflow_get_retrans(msk) : - 25 : 489244 : mptcp_subflow_get_send(msk); - 26 [ + + ]: 490911 : if (!ssk) + 24 [ + + + + ]: 411841 : ssk = data->reinject ? mptcp_subflow_get_retrans(msk) : + 25 : 410375 : mptcp_subflow_get_send(msk); + 26 [ + + ]: 411841 : if (!ssk) 27 : : return -EINVAL; 28 : : - 29 : 398534 : mptcp_subflow_set_scheduled(mptcp_subflow_ctx(ssk), true); - 30 : 398534 : return 0; + 29 : 335028 : mptcp_subflow_set_scheduled(mptcp_subflow_ctx(ssk), true); + 30 : 335028 : return 0; 31 : : } 32 : : 33 : : static struct mptcp_sched_ops mptcp_sched_default = { @@ -217,83 +217,83 @@ 135 : 3587 : bpf_module_put(sched, sched->owner); 136 : : } 137 : : - 138 : 392373 : void mptcp_subflow_set_scheduled(struct mptcp_subflow_context *subflow, + 138 : 317316 : void mptcp_subflow_set_scheduled(struct mptcp_subflow_context *subflow, 139 : : bool scheduled) 140 : : { 141 : 0 : WRITE_ONCE(subflow->scheduled, scheduled); - 142 : 912393 : } + 142 : 836949 : } 143 : : - 144 : 196600 : static void mptcp_sched_data_set_contexts(const struct mptcp_sock *msk, + 144 : 196507 : static void mptcp_sched_data_set_contexts(const struct mptcp_sock *msk, 145 : : struct mptcp_sched_data *data) 146 : : { - 147 : 196600 : struct mptcp_subflow_context *subflow; - 148 : 196600 : int i = 0; + 147 : 196507 : struct mptcp_subflow_context *subflow; + 148 : 196507 : int i = 0; 149 : : - 150 [ + + ]: 589174 : mptcp_for_each_subflow(msk, subflow) { - 151 [ - + ]: 392574 : if (i == MPTCP_SUBFLOWS_MAX) { + 150 [ + + ]: 588923 : mptcp_for_each_subflow(msk, subflow) { + 151 [ - + ]: 392416 : if (i == MPTCP_SUBFLOWS_MAX) { 152 [ # # # # ]: 0 : pr_warn_once("too many subflows"); 153 : : break; 154 : : } - 155 : 392574 : mptcp_subflow_set_scheduled(subflow, false); - 156 : 392574 : data->contexts[i++] = subflow; + 155 : 392416 : mptcp_subflow_set_scheduled(subflow, false); + 156 : 392416 : data->contexts[i++] = subflow; 157 : : } - 158 : 196600 : data->subflows = i; + 158 : 196507 : data->subflows = i; 159 : : - 160 [ + + ]: 1376826 : for (; i < MPTCP_SUBFLOWS_MAX; i++) - 161 : 1180226 : data->contexts[i] = NULL; - 162 : 196600 : } + 160 [ + + ]: 1376147 : for (; i < MPTCP_SUBFLOWS_MAX; i++) + 161 : 1179640 : data->contexts[i] = NULL; + 162 : 196507 : } 163 : : - 164 : 753878 : int mptcp_sched_get_send(struct mptcp_sock *msk) + 164 : 660337 : int mptcp_sched_get_send(struct mptcp_sock *msk) 165 : : { - 166 : 753878 : struct mptcp_subflow_context *subflow; - 167 : 753878 : struct mptcp_sched_data data; + 166 : 660337 : struct mptcp_subflow_context *subflow; + 167 : 660337 : struct mptcp_sched_data data; 168 : : - 169 : 753878 : msk_owned_by_me(msk); + 169 : 660337 : msk_owned_by_me(msk); 170 : : 171 : : /* the following check is moved out of mptcp_subflow_get_send */ - 172 [ + + ]: 753878 : if (__mptcp_check_fallback(msk)) { - 173 [ + - + - ]: 96040 : if (msk->first && - 174 [ + + ]: 74588 : __tcp_can_send(msk->first) && - 175 [ # # ]: 48020 : sk_stream_memory_free(msk->first)) { - 176 : 36749 : mptcp_subflow_set_scheduled(mptcp_subflow_ctx(msk->first), true); - 177 : 36749 : return 0; + 172 [ + + ]: 660337 : if (__mptcp_check_fallback(msk)) { + 173 [ + - + - ]: 66926 : if (msk->first && + 174 [ + + ]: 43381 : __tcp_can_send(msk->first) && + 175 [ # # ]: 33463 : sk_stream_memory_free(msk->first)) { + 176 : 24937 : mptcp_subflow_set_scheduled(mptcp_subflow_ctx(msk->first), true); + 177 : 24937 : return 0; 178 : : } - 179 : 11271 : return -EINVAL; + 179 : 8526 : return -EINVAL; 180 : : } 181 : : - 182 [ + + ]: 2018573 : mptcp_for_each_subflow(msk, subflow) { - 183 [ + + + + ]: 1336136 : if (READ_ONCE(subflow->scheduled)) + 182 [ + + ]: 1811000 : mptcp_for_each_subflow(msk, subflow) { + 183 [ + + + + ]: 1207550 : if (READ_ONCE(subflow->scheduled)) 184 : : return 0; 185 : : } 186 : : - 187 : 682437 : data.reinject = false; - 188 [ + + - + ]: 682437 : if (msk->sched == &mptcp_sched_default || !msk->sched) - 189 : 489244 : return mptcp_sched_default_get_subflow(msk, &data); - 190 : 193193 : mptcp_sched_data_set_contexts(msk, &data); - 191 : 193193 : return msk->sched->get_subflow(msk, &data); + 187 : 603450 : data.reinject = false; + 188 [ + + - + ]: 603450 : if (msk->sched == &mptcp_sched_default || !msk->sched) + 189 : 410375 : return mptcp_sched_default_get_subflow(msk, &data); + 190 : 193075 : mptcp_sched_data_set_contexts(msk, &data); + 191 : 193075 : return msk->sched->get_subflow(msk, &data); 192 : : } 193 : : - 194 : 12962 : int mptcp_sched_get_retrans(struct mptcp_sock *msk) + 194 : 9237 : int mptcp_sched_get_retrans(struct mptcp_sock *msk) 195 : : { - 196 : 12962 : struct mptcp_subflow_context *subflow; - 197 : 12962 : struct mptcp_sched_data data; + 196 : 9237 : struct mptcp_subflow_context *subflow; + 197 : 9237 : struct mptcp_sched_data data; 198 : : - 199 : 12962 : msk_owned_by_me(msk); + 199 : 9237 : msk_owned_by_me(msk); 200 : : 201 : : /* the following check is moved out of mptcp_subflow_get_retrans */ - 202 [ + + ]: 12962 : if (__mptcp_check_fallback(msk)) + 202 [ + + ]: 9237 : if (__mptcp_check_fallback(msk)) 203 : : return -EINVAL; 204 : : - 205 [ + + ]: 14911 : mptcp_for_each_subflow(msk, subflow) { - 206 [ + + + + ]: 9837 : if (READ_ONCE(subflow->scheduled)) + 205 [ + + ]: 14567 : mptcp_for_each_subflow(msk, subflow) { + 206 [ + + + + ]: 9669 : if (READ_ONCE(subflow->scheduled)) 207 : : return 0; 208 : : } 209 : : - 210 : 5074 : data.reinject = true; - 211 [ + + + + ]: 5074 : if (msk->sched == &mptcp_sched_default || !msk->sched) - 212 : 1667 : return mptcp_sched_default_get_subflow(msk, &data); - 213 : 3407 : mptcp_sched_data_set_contexts(msk, &data); - 214 : 3407 : return msk->sched->get_subflow(msk, &data); + 210 : 4898 : data.reinject = true; + 211 [ + + + + ]: 4898 : if (msk->sched == &mptcp_sched_default || !msk->sched) + 212 : 1466 : return mptcp_sched_default_get_subflow(msk, &data); + 213 : 3432 : mptcp_sched_data_set_contexts(msk, &data); + 214 : 3432 : return msk->sched->get_subflow(msk, &data); 215 : : } diff --git a/html/lcov/export/mptcp/sockopt.c.func-c.html b/html/lcov/export/mptcp/sockopt.c.func-c.html index e68bb981..0c9044dd 100644 --- a/html/lcov/export/mptcp/sockopt.c.func-c.html +++ b/html/lcov/export/mptcp/sockopt.c.func-c.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 90.2 % @@ -205,16 +205,16 @@ - mptcp_setsockopt_v4 + mptcp_getsockopt_info - 40 + 39 - mptcp_getsockopt_info + mptcp_setsockopt_v4 - 41 + 40 @@ -298,14 +298,14 @@ mptcp_getsockopt_sol_mptcp - 321 + 319 mptcp_diag_fill_info - 1043 + 1031 @@ -319,7 +319,7 @@ mptcp_sockopt_sync_locked - 3574 + 3572 @@ -340,14 +340,14 @@ mptcp_getsockopt - 6951 + 6949 __mptcp_tcp_fallback - 7175 + 7173 diff --git a/html/lcov/export/mptcp/sockopt.c.func.html b/html/lcov/export/mptcp/sockopt.c.func.html index 3e238e0b..d1ce5ca0 100644 --- a/html/lcov/export/mptcp/sockopt.c.func.html +++ b/html/lcov/export/mptcp/sockopt.c.func.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 90.2 % @@ -102,14 +102,14 @@ __mptcp_tcp_fallback - 7175 + 7173 mptcp_diag_fill_info - 1043 + 1031 @@ -144,7 +144,7 @@ mptcp_getsockopt - 6951 + 6949 @@ -165,14 +165,14 @@ mptcp_getsockopt_info - 41 + 39 mptcp_getsockopt_sol_mptcp - 321 + 319 @@ -326,7 +326,7 @@ mptcp_sockopt_sync_locked - 3574 + 3572 diff --git a/html/lcov/export/mptcp/sockopt.c.gcov.html b/html/lcov/export/mptcp/sockopt.c.gcov.html index d923864b..f2bd6370 100644 --- a/html/lcov/export/mptcp/sockopt.c.gcov.html +++ b/html/lcov/export/mptcp/sockopt.c.gcov.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 90.2 % @@ -95,11 +95,11 @@ 17 : : #define MIN_INFO_OPTLEN_SIZE 16 18 : : #define MIN_FULL_INFO_OPTLEN_SIZE 40 19 : : - 20 : 7175 : static struct sock *__mptcp_tcp_fallback(struct mptcp_sock *msk) + 20 : 7173 : static struct sock *__mptcp_tcp_fallback(struct mptcp_sock *msk) 21 : : { - 22 : 7175 : msk_owned_by_me(msk); + 22 : 7173 : msk_owned_by_me(msk); 23 : : - 24 [ + + ]: 7175 : if (likely(!__mptcp_check_fallback(msk))) + 24 [ + + ]: 7173 : if (likely(!__mptcp_check_fallback(msk))) 25 : : return NULL; 26 : : 27 : 114 : return msk->first; @@ -236,12 +236,12 @@ 157 : : return ret; 158 : : 159 : 8 : lock_sock(sk); - 160 [ + + ]: 27 : mptcp_for_each_subflow(msk, subflow) { - 161 : 19 : struct sock *ssk = mptcp_subflow_tcp_sock(subflow); - 162 : 19 : bool slow = lock_sock_fast(ssk); + 160 [ + + ]: 28 : mptcp_for_each_subflow(msk, subflow) { + 161 : 20 : struct sock *ssk = mptcp_subflow_tcp_sock(subflow); + 162 : 20 : bool slow = lock_sock_fast(ssk); 163 : : - 164 : 19 : sock_set_timestamp(sk, optname, !!val); - 165 : 19 : unlock_sock_fast(ssk, slow); + 164 : 20 : sock_set_timestamp(sk, optname, !!val); + 165 : 20 : unlock_sock_fast(ssk, slow); 166 : : } 167 : : 168 : 8 : release_sock(sk); @@ -1015,85 +1015,85 @@ 932 : 6354 : return ret; 933 : : } 934 : : - 935 : 1043 : void mptcp_diag_fill_info(struct mptcp_sock *msk, struct mptcp_info *info) + 935 : 1031 : void mptcp_diag_fill_info(struct mptcp_sock *msk, struct mptcp_info *info) 936 : : { - 937 : 1043 : struct sock *sk = (struct sock *)msk; - 938 : 1043 : u32 flags = 0; - 939 : 1043 : bool slow; - 940 : 1043 : u32 now; + 937 : 1031 : struct sock *sk = (struct sock *)msk; + 938 : 1031 : u32 flags = 0; + 939 : 1031 : bool slow; + 940 : 1031 : u32 now; 941 : : - 942 : 1043 : memset(info, 0, sizeof(*info)); + 942 : 1031 : memset(info, 0, sizeof(*info)); 943 : : - 944 : 1043 : info->mptcpi_subflows = READ_ONCE(msk->pm.subflows); - 945 : 1043 : info->mptcpi_add_addr_signal = READ_ONCE(msk->pm.add_addr_signaled); - 946 : 1043 : info->mptcpi_add_addr_accepted = READ_ONCE(msk->pm.add_addr_accepted); - 947 : 1043 : info->mptcpi_local_addr_used = READ_ONCE(msk->pm.local_addr_used); + 944 : 1031 : info->mptcpi_subflows = READ_ONCE(msk->pm.subflows); + 945 : 1031 : info->mptcpi_add_addr_signal = READ_ONCE(msk->pm.add_addr_signaled); + 946 : 1031 : info->mptcpi_add_addr_accepted = READ_ONCE(msk->pm.add_addr_accepted); + 947 : 1031 : info->mptcpi_local_addr_used = READ_ONCE(msk->pm.local_addr_used); 948 : : - 949 [ + - ]: 1043 : if (inet_sk_state_load(sk) == TCP_LISTEN) + 949 [ + - ]: 1031 : if (inet_sk_state_load(sk) == TCP_LISTEN) 950 : : return; 951 : : 952 : : /* The following limits only make sense for the in-kernel PM */ - 953 [ + + ]: 1043 : if (mptcp_pm_is_kernel(msk)) { - 954 : 1982 : info->mptcpi_subflows_max = - 955 : 991 : mptcp_pm_get_subflows_max(msk); - 956 : 1982 : info->mptcpi_add_addr_signal_max = - 957 : 991 : mptcp_pm_get_add_addr_signal_max(msk); - 958 : 1982 : info->mptcpi_add_addr_accepted_max = - 959 : 991 : mptcp_pm_get_add_addr_accept_max(msk); - 960 : 991 : info->mptcpi_local_addr_max = - 961 : 991 : mptcp_pm_get_local_addr_max(msk); + 953 [ + + ]: 1031 : if (mptcp_pm_is_kernel(msk)) { + 954 : 1958 : info->mptcpi_subflows_max = + 955 : 979 : mptcp_pm_get_subflows_max(msk); + 956 : 1958 : info->mptcpi_add_addr_signal_max = + 957 : 979 : mptcp_pm_get_add_addr_signal_max(msk); + 958 : 1958 : info->mptcpi_add_addr_accepted_max = + 959 : 979 : mptcp_pm_get_add_addr_accept_max(msk); + 960 : 979 : info->mptcpi_local_addr_max = + 961 : 979 : mptcp_pm_get_local_addr_max(msk); 962 : : } 963 : : - 964 [ + + ]: 1043 : if (__mptcp_check_fallback(msk)) + 964 [ + + ]: 1031 : if (__mptcp_check_fallback(msk)) 965 : 2 : flags |= MPTCP_INFO_FLAG_FALLBACK; - 966 [ + + + + ]: 1043 : if (READ_ONCE(msk->can_ack)) - 967 : 1041 : flags |= MPTCP_INFO_FLAG_REMOTE_KEY_RECEIVED; - 968 : 1043 : info->mptcpi_flags = flags; + 966 [ + + + + ]: 1031 : if (READ_ONCE(msk->can_ack)) + 967 : 1029 : flags |= MPTCP_INFO_FLAG_REMOTE_KEY_RECEIVED; + 968 : 1031 : info->mptcpi_flags = flags; 969 : : - 970 : 1043 : slow = lock_sock_fast(sk); - 971 [ - + ]: 1043 : info->mptcpi_csum_enabled = READ_ONCE(msk->csum_enabled); - 972 : 1043 : info->mptcpi_token = msk->token; - 973 : 1043 : info->mptcpi_write_seq = msk->write_seq; - 974 : 1043 : info->mptcpi_retransmits = inet_csk(sk)->icsk_retransmits; - 975 : 1043 : info->mptcpi_bytes_sent = msk->bytes_sent; - 976 : 1043 : info->mptcpi_bytes_received = msk->bytes_received; - 977 : 1043 : info->mptcpi_bytes_retrans = msk->bytes_retrans; - 978 : 2086 : info->mptcpi_subflows_total = info->mptcpi_subflows + - 979 : 1043 : __mptcp_has_initial_subflow(msk); - 980 : 1043 : now = tcp_jiffies32; - 981 : 1043 : info->mptcpi_last_data_sent = jiffies_to_msecs(now - msk->last_data_sent); - 982 : 1043 : info->mptcpi_last_data_recv = jiffies_to_msecs(now - msk->last_data_recv); - 983 : 1043 : unlock_sock_fast(sk, slow); + 970 : 1031 : slow = lock_sock_fast(sk); + 971 [ - + ]: 1031 : info->mptcpi_csum_enabled = READ_ONCE(msk->csum_enabled); + 972 : 1031 : info->mptcpi_token = msk->token; + 973 : 1031 : info->mptcpi_write_seq = msk->write_seq; + 974 : 1031 : info->mptcpi_retransmits = inet_csk(sk)->icsk_retransmits; + 975 : 1031 : info->mptcpi_bytes_sent = msk->bytes_sent; + 976 : 1031 : info->mptcpi_bytes_received = msk->bytes_received; + 977 : 1031 : info->mptcpi_bytes_retrans = msk->bytes_retrans; + 978 : 2062 : info->mptcpi_subflows_total = info->mptcpi_subflows + + 979 : 1031 : __mptcp_has_initial_subflow(msk); + 980 : 1031 : now = tcp_jiffies32; + 981 : 1031 : info->mptcpi_last_data_sent = jiffies_to_msecs(now - msk->last_data_sent); + 982 : 1031 : info->mptcpi_last_data_recv = jiffies_to_msecs(now - msk->last_data_recv); + 983 : 1031 : unlock_sock_fast(sk, slow); 984 : : - 985 : 1043 : mptcp_data_lock(sk); - 986 : 1043 : info->mptcpi_last_ack_recv = jiffies_to_msecs(now - msk->last_ack_recv); - 987 : 1043 : info->mptcpi_snd_una = msk->snd_una; - 988 : 1043 : info->mptcpi_rcv_nxt = msk->ack_seq; - 989 : 1043 : info->mptcpi_bytes_acked = msk->bytes_acked; - 990 : 1043 : mptcp_data_unlock(sk); + 985 : 1031 : mptcp_data_lock(sk); + 986 : 1031 : info->mptcpi_last_ack_recv = jiffies_to_msecs(now - msk->last_ack_recv); + 987 : 1031 : info->mptcpi_snd_una = msk->snd_una; + 988 : 1031 : info->mptcpi_rcv_nxt = msk->ack_seq; + 989 : 1031 : info->mptcpi_bytes_acked = msk->bytes_acked; + 990 : 1031 : mptcp_data_unlock(sk); 991 : : } 992 : : EXPORT_SYMBOL_GPL(mptcp_diag_fill_info); 993 : : - 994 : 41 : static int mptcp_getsockopt_info(struct mptcp_sock *msk, char __user *optval, int __user *optlen) + 994 : 39 : static int mptcp_getsockopt_info(struct mptcp_sock *msk, char __user *optval, int __user *optlen) 995 : : { - 996 : 41 : struct mptcp_info m_info; - 997 : 41 : int len; + 996 : 39 : struct mptcp_info m_info; + 997 : 39 : int len; 998 : : - 999 [ - + ]: 41 : if (get_user(len, optlen)) + 999 [ - + ]: 39 : if (get_user(len, optlen)) 1000 : : return -EFAULT; 1001 : : 1002 : : /* When used only to check if a fallback to TCP happened. */ - 1003 [ - + ]: 41 : if (len == 0) + 1003 [ - + ]: 39 : if (len == 0) 1004 : : return 0; 1005 : : - 1006 : 41 : len = min_t(unsigned int, len, sizeof(struct mptcp_info)); + 1006 : 39 : len = min_t(unsigned int, len, sizeof(struct mptcp_info)); 1007 : : - 1008 : 41 : mptcp_diag_fill_info(msk, &m_info); + 1008 : 39 : mptcp_diag_fill_info(msk, &m_info); 1009 : : - 1010 [ - + ]: 41 : if (put_user(len, optlen)) + 1010 [ - + ]: 39 : if (put_user(len, optlen)) 1011 : : return -EFAULT; 1012 : : - 1013 [ - + ]: 41 : if (copy_to_user(optval, &m_info, len)) + 1013 [ - + ]: 39 : if (copy_to_user(optval, &m_info, len)) 1014 : : return -EFAULT; 1015 : : 1016 : : return 0; @@ -1515,13 +1515,13 @@ 1430 : : return -EOPNOTSUPP; 1431 : : } 1432 : : - 1433 : 321 : static int mptcp_getsockopt_sol_mptcp(struct mptcp_sock *msk, int optname, + 1433 : 319 : static int mptcp_getsockopt_sol_mptcp(struct mptcp_sock *msk, int optname, 1434 : : char __user *optval, int __user *optlen) 1435 : : { - 1436 [ + + + + : 321 : switch (optname) { + 1436 [ + + + + : 319 : switch (optname) { - ] - 1437 : 41 : case MPTCP_INFO: - 1438 : 41 : return mptcp_getsockopt_info(msk, optval, optlen); + 1437 : 39 : case MPTCP_INFO: + 1438 : 39 : return mptcp_getsockopt_info(msk, optval, optlen); 1439 : 8 : case MPTCP_FULL_INFO: 1440 : 8 : return mptcp_getsockopt_full_info(msk, optval, optlen); 1441 : 128 : case MPTCP_TCPINFO: @@ -1533,13 +1533,13 @@ 1447 : : return -EOPNOTSUPP; 1448 : : } 1449 : : - 1450 : 6951 : int mptcp_getsockopt(struct sock *sk, int level, int optname, + 1450 : 6949 : int mptcp_getsockopt(struct sock *sk, int level, int optname, 1451 : : char __user *optval, int __user *option) 1452 : : { - 1453 [ - + ]: 6951 : struct mptcp_sock *msk = mptcp_sk(sk); - 1454 : 6951 : struct sock *ssk; + 1453 [ - + ]: 6949 : struct mptcp_sock *msk = mptcp_sk(sk); + 1454 : 6949 : struct sock *ssk; 1455 : : - 1456 [ - + ]: 6951 : pr_debug("msk=%p\n", msk); + 1456 [ - + ]: 6949 : pr_debug("msk=%p\n", msk); 1457 : : 1458 : : /* @@ the meaning of setsockopt() when the socket is connected and 1459 : : * there are multiple subflows is not yet defined. It is up to the @@ -1547,18 +1547,18 @@ 1461 : : * is in TCP fallback, when socket options are passed through 1462 : : * to the one remaining subflow. 1463 : : */ - 1464 : 6951 : lock_sock(sk); - 1465 : 6951 : ssk = __mptcp_tcp_fallback(msk); - 1466 : 6951 : release_sock(sk); - 1467 [ + + ]: 6951 : if (ssk) + 1464 : 6949 : lock_sock(sk); + 1465 : 6949 : ssk = __mptcp_tcp_fallback(msk); + 1466 : 6949 : release_sock(sk); + 1467 [ + + ]: 6949 : if (ssk) 1468 : 114 : return tcp_getsockopt(ssk, level, optname, optval, option); 1469 : : - 1470 [ + + ]: 6837 : if (level == SOL_IP) + 1470 [ + + ]: 6835 : if (level == SOL_IP) 1471 : 12 : return mptcp_getsockopt_v4(msk, optname, optval, option); - 1472 [ + + ]: 6825 : if (level == SOL_TCP) + 1472 [ + + ]: 6823 : if (level == SOL_TCP) 1473 : 6504 : return mptcp_getsockopt_sol_tcp(msk, optname, optval, option); - 1474 [ + - ]: 321 : if (level == SOL_MPTCP) - 1475 : 321 : return mptcp_getsockopt_sol_mptcp(msk, optname, optval, option); + 1474 [ + - ]: 319 : if (level == SOL_MPTCP) + 1475 : 319 : return mptcp_getsockopt_sol_mptcp(msk, optname, optval, option); 1476 : : return -EOPNOTSUPP; 1477 : : } 1478 : : @@ -1618,26 +1618,26 @@ 1532 : 45 : WRITE_ONCE(inet_sk(ssk)->local_port_range, READ_ONCE(inet_sk(sk)->local_port_range)); 1533 : 45 : } 1534 : : - 1535 : 3574 : void mptcp_sockopt_sync_locked(struct mptcp_sock *msk, struct sock *ssk) + 1535 : 3572 : void mptcp_sockopt_sync_locked(struct mptcp_sock *msk, struct sock *ssk) 1536 : : { - 1537 [ - + ]: 3574 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); + 1537 [ - + ]: 3572 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); 1538 : : - 1539 : 3574 : msk_owned_by_me(msk); + 1539 : 3572 : msk_owned_by_me(msk); 1540 : : - 1541 : 3574 : ssk->sk_rcvlowat = 0; + 1541 : 3572 : ssk->sk_rcvlowat = 0; 1542 : : 1543 : : /* subflows must ignore any latency-related settings: will not affect 1544 : : * the user-space - only the msk is relevant - but will foul the 1545 : : * mptcp scheduler 1546 : : */ - 1547 [ - + ]: 3574 : tcp_sk(ssk)->notsent_lowat = UINT_MAX; + 1547 [ - + ]: 3572 : tcp_sk(ssk)->notsent_lowat = UINT_MAX; 1548 : : - 1549 [ + + ]: 3574 : if (READ_ONCE(subflow->setsockopt_seq) != msk->setsockopt_seq) { + 1549 [ + + ]: 3572 : if (READ_ONCE(subflow->setsockopt_seq) != msk->setsockopt_seq) { 1550 : 45 : sync_socket_options(msk, ssk); 1551 : : 1552 : 45 : subflow->setsockopt_seq = msk->setsockopt_seq; 1553 : : } - 1554 : 3574 : } + 1554 : 3572 : } 1555 : : 1556 : : /* unfortunately this is different enough from the tcp version so 1557 : : * that we can't factor it out diff --git a/html/lcov/export/mptcp/subflow.c.func-c.html b/html/lcov/export/mptcp/subflow.c.func-c.html index bae55a02..19684c46 100644 --- a/html/lcov/export/mptcp/subflow.c.func-c.html +++ b/html/lcov/export/mptcp/subflow.c.func-c.html @@ -31,13 +31,13 @@ export Lines: - 90.3 % + 90.4 % 1136 - 1026 + 1027 Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 95.5 % @@ -56,9 +56,9 @@ Branches: - 63.8 % + 64.0 % 858 - 547 + 549 @@ -158,49 +158,49 @@ mptcp_subflow_init_cookie_req - 48 + 49 mptcp_subflow_reqsk_alloc - 48 + 49 mptcp_subflow_drop_ctx - 144 + 145 subflow_ulp_fallback - 144 + 145 subflow_v6_route_req - 302 + 301 subflow_v6_send_synack - 308 + 303 subflow_v6_req_destructor - 310 + 309 @@ -249,7 +249,7 @@ mptcpv6_handle_mapped - 722 + 723 @@ -263,14 +263,14 @@ subflow_set_local_id - 1082 + 1080 mptcp_info2sockaddr - 1146 + 1142 @@ -291,63 +291,63 @@ mptcp_subflow_queue_clean - 1248 + 1249 subflow_v6_rebuild_header - 1463 + 1300 subflow_v4_send_synack - 1475 + 1476 subflow_v4_conn_request - 1483 + 1484 subflow_v4_route_req - 1483 + 1484 subflow_v4_req_destructor - 1523 + 1525 subflow_syn_recv_sock - 1769 + 1770 subflow_ulp_clone - 1769 + 1770 subflow_prep_synack - 1783 + 1779 @@ -359,23 +359,23 @@ - subflow_error_report + subflow_init_req - 1792 + 1834 - subflow_init_req + subflow_req_destructor - 1833 + 1834 - subflow_req_destructor + subflow_error_report - 1833 + 1860 @@ -396,7 +396,7 @@ mptcp_attach_cgroup - 3069 + 3067 @@ -410,7 +410,7 @@ subflow_ulp_init - 3381 + 3379 @@ -424,126 +424,126 @@ subflow_ulp_release - 4587 + 4585 subflow_create_ctx - 4762 + 4760 - __subflow_state_change + subflow_finish_connect - 4985 + 4783 - subflow_state_change + __subflow_state_change - 4985 + 4957 - subflow_finish_connect + subflow_state_change - 5015 + 4957 mptcp_subflow_discard_data - 5230 + 5044 subflow_rebuild_header - 5530 + 5517 subflow_chk_local_id - 6993 + 6817 validate_mapping - 228374 + 191417 subflow_write_space - 410452 + 321404 - tcp_release_cb_override + validate_data_csum - 577043 + 528397 - validate_data_csum + tcp_release_cb_override - 639605 + 530853 subflow_data_ready - 646728 + 534553 subflow_sched_work_if_closed - 654183 + 541577 mptcp_subflow_data_available - 1290916 + 1065094 subflow_check_data_avail - 1290916 + 1065094 get_mapping_status - 1293644 + 1067464 mptcp_space - 1412714 + 1160218 diff --git a/html/lcov/export/mptcp/subflow.c.func.html b/html/lcov/export/mptcp/subflow.c.func.html index 4242d00b..8ed9c82b 100644 --- a/html/lcov/export/mptcp/subflow.c.func.html +++ b/html/lcov/export/mptcp/subflow.c.func.html @@ -31,13 +31,13 @@ export Lines: - 90.3 % + 90.4 % 1136 - 1026 + 1027 Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 95.5 % @@ -56,9 +56,9 @@ Branches: - 63.8 % + 64.0 % 858 - 547 + 549 @@ -102,7 +102,7 @@ __subflow_state_change - 4985 + 4957 @@ -116,14 +116,14 @@ get_mapping_status - 1293644 + 1067464 mptcp_attach_cgroup - 3069 + 3067 @@ -144,7 +144,7 @@ mptcp_info2sockaddr - 1146 + 1142 @@ -158,7 +158,7 @@ mptcp_space - 1412714 + 1160218 @@ -172,21 +172,21 @@ mptcp_subflow_data_available - 1290916 + 1065094 mptcp_subflow_discard_data - 5230 + 5044 mptcp_subflow_drop_ctx - 144 + 145 @@ -207,21 +207,21 @@ mptcp_subflow_init_cookie_req - 48 + 49 mptcp_subflow_queue_clean - 1248 + 1249 mptcp_subflow_reqsk_alloc - 48 + 49 @@ -235,7 +235,7 @@ mptcpv6_handle_mapped - 722 + 723 @@ -263,7 +263,7 @@ subflow_check_data_avail - 1290916 + 1065094 @@ -277,35 +277,35 @@ subflow_chk_local_id - 6993 + 6817 subflow_create_ctx - 4762 + 4760 subflow_data_ready - 646728 + 534553 subflow_error_report - 1792 + 1860 subflow_finish_connect - 5015 + 4783 @@ -326,7 +326,7 @@ subflow_init_req - 1833 + 1834 @@ -340,14 +340,14 @@ subflow_prep_synack - 1783 + 1779 subflow_rebuild_header - 5530 + 5517 @@ -361,7 +361,7 @@ subflow_req_destructor - 1833 + 1834 @@ -375,14 +375,14 @@ subflow_sched_work_if_closed - 654183 + 541577 subflow_set_local_id - 1082 + 1080 @@ -396,14 +396,14 @@ subflow_state_change - 4985 + 4957 subflow_syn_recv_sock - 1769 + 1770 @@ -424,56 +424,56 @@ subflow_ulp_clone - 1769 + 1770 subflow_ulp_fallback - 144 + 145 subflow_ulp_init - 3381 + 3379 subflow_ulp_release - 4587 + 4585 subflow_v4_conn_request - 1483 + 1484 subflow_v4_req_destructor - 1523 + 1525 subflow_v4_route_req - 1483 + 1484 subflow_v4_send_synack - 1475 + 1476 @@ -487,35 +487,35 @@ subflow_v6_rebuild_header - 1463 + 1300 subflow_v6_req_destructor - 310 + 309 subflow_v6_route_req - 302 + 301 subflow_v6_send_synack - 308 + 303 subflow_write_space - 410452 + 321404 @@ -529,21 +529,21 @@ tcp_release_cb_override - 577043 + 530853 validate_data_csum - 639605 + 528397 validate_mapping - 228374 + 191417 diff --git a/html/lcov/export/mptcp/subflow.c.gcov.html b/html/lcov/export/mptcp/subflow.c.gcov.html index 3e0df578..a9648796 100644 --- a/html/lcov/export/mptcp/subflow.c.gcov.html +++ b/html/lcov/export/mptcp/subflow.c.gcov.html @@ -31,13 +31,13 @@ export Lines: - 90.3 % + 90.4 % 1136 - 1026 + 1027 Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 95.5 % @@ -56,9 +56,9 @@ Branches: - 63.8 % + 64.0 % 858 - 547 + 549 @@ -118,17 +118,17 @@ - - - - ] 36 : : } 37 : : - 38 : 1833 : static void subflow_req_destructor(struct request_sock *req) + 38 : 1834 : static void subflow_req_destructor(struct request_sock *req) 39 : : { - 40 : 1833 : struct mptcp_subflow_request_sock *subflow_req = mptcp_subflow_rsk(req); + 40 : 1834 : struct mptcp_subflow_request_sock *subflow_req = mptcp_subflow_rsk(req); 41 : : - 42 [ - + ]: 1833 : pr_debug("subflow_req=%p\n", subflow_req); + 42 [ - + ]: 1834 : pr_debug("subflow_req=%p\n", subflow_req); 43 : : - 44 [ + + ]: 1833 : if (subflow_req->msk) + 44 [ + + ]: 1834 : if (subflow_req->msk) 45 : 30 : sock_put((struct sock *)subflow_req->msk); 46 : : - 47 : 1833 : mptcp_token_destroy_request(req); - 48 : 1833 : } + 47 : 1834 : mptcp_token_destroy_request(req); + 48 : 1834 : } 49 : : 50 : 2002 : static void subflow_generate_hmac(u64 key1, u64 key2, u32 nonce1, u32 nonce2, 51 : : void *hmac) @@ -188,17 +188,17 @@ 105 : 515 : return msk; 106 : : } 107 : : - 108 : 1833 : static void subflow_init_req(struct request_sock *req, const struct sock *sk_listener) + 108 : 1834 : static void subflow_init_req(struct request_sock *req, const struct sock *sk_listener) 109 : : { - 110 : 1833 : struct mptcp_subflow_request_sock *subflow_req = mptcp_subflow_rsk(req); + 110 : 1834 : struct mptcp_subflow_request_sock *subflow_req = mptcp_subflow_rsk(req); 111 : : - 112 : 1833 : subflow_req->mp_capable = 0; - 113 : 1833 : subflow_req->mp_join = 0; - 114 : 1833 : subflow_req->csum_reqd = mptcp_is_checksum_enabled(sock_net(sk_listener)); - 115 : 1833 : subflow_req->allow_join_id0 = mptcp_allow_join_id0(sock_net(sk_listener)); - 116 : 1833 : subflow_req->msk = NULL; - 117 : 1833 : mptcp_token_init_request(req); - 118 : 1833 : } + 112 : 1834 : subflow_req->mp_capable = 0; + 113 : 1834 : subflow_req->mp_join = 0; + 114 : 1834 : subflow_req->csum_reqd = mptcp_is_checksum_enabled(sock_net(sk_listener)); + 115 : 1834 : subflow_req->allow_join_id0 = mptcp_allow_join_id0(sock_net(sk_listener)); + 116 : 1834 : subflow_req->msk = NULL; + 117 : 1834 : mptcp_token_init_request(req); + 118 : 1834 : } 119 : : 120 : 120 : static bool subflow_use_different_sport(struct mptcp_sock *msk, const struct sock *sk) 121 : : { @@ -344,25 +344,25 @@ 261 : : return 0; 262 : : } 263 : : - 264 : 48 : int mptcp_subflow_init_cookie_req(struct request_sock *req, + 264 : 49 : int mptcp_subflow_init_cookie_req(struct request_sock *req, 265 : : const struct sock *sk_listener, 266 : : struct sk_buff *skb) 267 : : { - 268 : 48 : struct mptcp_subflow_context *listener = mptcp_subflow_ctx(sk_listener); - 269 : 48 : struct mptcp_subflow_request_sock *subflow_req = mptcp_subflow_rsk(req); - 270 : 48 : struct mptcp_options_received mp_opt; - 271 : 48 : bool opt_mp_capable, opt_mp_join; - 272 : 48 : int err; + 268 : 49 : struct mptcp_subflow_context *listener = mptcp_subflow_ctx(sk_listener); + 269 : 49 : struct mptcp_subflow_request_sock *subflow_req = mptcp_subflow_rsk(req); + 270 : 49 : struct mptcp_options_received mp_opt; + 271 : 49 : bool opt_mp_capable, opt_mp_join; + 272 : 49 : int err; 273 : : - 274 : 48 : subflow_init_req(req, sk_listener); - 275 : 48 : mptcp_get_options(skb, &mp_opt); + 274 : 49 : subflow_init_req(req, sk_listener); + 275 : 49 : mptcp_get_options(skb, &mp_opt); 276 : : - 277 : 48 : opt_mp_capable = !!(mp_opt.suboptions & OPTION_MPTCP_MPC_ACK); - 278 : 48 : opt_mp_join = !!(mp_opt.suboptions & OPTION_MPTCP_MPJ_ACK); - 279 [ + - ]: 48 : if (opt_mp_capable && opt_mp_join) + 277 : 49 : opt_mp_capable = !!(mp_opt.suboptions & OPTION_MPTCP_MPC_ACK); + 278 : 49 : opt_mp_join = !!(mp_opt.suboptions & OPTION_MPTCP_MPJ_ACK); + 279 [ + - ]: 49 : if (opt_mp_capable && opt_mp_join) 280 : : return -EINVAL; 281 : : - 282 [ + + + - ]: 48 : if (opt_mp_capable && listener->request_mptcp) { + 282 [ + + + - ]: 49 : if (opt_mp_capable && listener->request_mptcp) { 283 [ + - ]: 28 : if (mp_opt.sndr_key == 0) 284 : : return -EINVAL; 285 : : @@ -373,7 +373,7 @@ 290 : : 291 : 28 : subflow_req->mp_capable = 1; 292 : 28 : subflow_req->ssn_offset = TCP_SKB_CB(skb)->seq - 1; - 293 [ - + - + ]: 20 : } else if (opt_mp_join && listener->request_mptcp) { + 293 [ + + - + ]: 21 : } else if (opt_mp_join && listener->request_mptcp) { 294 [ + - ]: 20 : if (!mptcp_token_join_cookie_init_state(subflow_req, skb)) 295 : : return -EINVAL; 296 : : @@ -395,24 +395,24 @@ 312 [ + - ]: 16 : return sk_rst_convert_mptcp_reason(mpext->reset_reason); 313 : : } 314 : : - 315 : 1483 : static struct dst_entry *subflow_v4_route_req(const struct sock *sk, + 315 : 1484 : static struct dst_entry *subflow_v4_route_req(const struct sock *sk, 316 : : struct sk_buff *skb, 317 : : struct flowi *fl, 318 : : struct request_sock *req, 319 : : u32 tw_isn) 320 : : { - 321 : 1483 : struct dst_entry *dst; - 322 : 1483 : int err; + 321 : 1484 : struct dst_entry *dst; + 322 : 1484 : int err; 323 : : - 324 : 1483 : tcp_rsk(req)->is_mptcp = 1; - 325 : 1483 : subflow_init_req(req, sk); + 324 : 1484 : tcp_rsk(req)->is_mptcp = 1; + 325 : 1484 : subflow_init_req(req, sk); 326 : : - 327 : 1483 : dst = tcp_request_sock_ipv4_ops.route_req(sk, skb, fl, req, tw_isn); - 328 [ - + ]: 1483 : if (!dst) + 327 : 1484 : dst = tcp_request_sock_ipv4_ops.route_req(sk, skb, fl, req, tw_isn); + 328 [ - + ]: 1484 : if (!dst) 329 : : return NULL; 330 : : - 331 : 1483 : err = subflow_check_req(req, sk, skb); - 332 [ + + ]: 1483 : if (err == 0) + 331 : 1484 : err = subflow_check_req(req, sk, skb); + 332 [ + + ]: 1484 : if (err == 0) 333 : : return dst; 334 : : 335 : 8 : dst_release(dst); @@ -422,66 +422,66 @@ 339 : : return NULL; 340 : : } 341 : : - 342 : 1783 : static void subflow_prep_synack(const struct sock *sk, struct request_sock *req, + 342 : 1779 : static void subflow_prep_synack(const struct sock *sk, struct request_sock *req, 343 : : struct tcp_fastopen_cookie *foc, 344 : : enum tcp_synack_type synack_type) 345 : : { - 346 [ + + ]: 1783 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); - 347 : 1783 : struct inet_request_sock *ireq = inet_rsk(req); + 346 [ + + ]: 1779 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); + 347 : 1779 : struct inet_request_sock *ireq = inet_rsk(req); 348 : : 349 : : /* clear tstamp_ok, as needed depending on cookie */ - 350 [ + + + + ]: 1783 : if (foc && foc->len > -1) + 350 [ + + + + ]: 1779 : if (foc && foc->len > -1) 351 : 20 : ireq->tstamp_ok = 0; 352 : : - 353 [ + + ]: 1783 : if (synack_type == TCP_SYNACK_FASTOPEN) + 353 [ + + ]: 1779 : if (synack_type == TCP_SYNACK_FASTOPEN) 354 : 38 : mptcp_fastopen_subflow_synack_set_params(subflow, req); - 355 : 1783 : } + 355 : 1779 : } 356 : : - 357 : 1475 : static int subflow_v4_send_synack(const struct sock *sk, struct dst_entry *dst, + 357 : 1476 : static int subflow_v4_send_synack(const struct sock *sk, struct dst_entry *dst, 358 : : struct flowi *fl, 359 : : struct request_sock *req, 360 : : struct tcp_fastopen_cookie *foc, 361 : : enum tcp_synack_type synack_type, 362 : : struct sk_buff *syn_skb) 363 : : { - 364 : 1475 : subflow_prep_synack(sk, req, foc, synack_type); + 364 : 1476 : subflow_prep_synack(sk, req, foc, synack_type); 365 : : - 366 : 1475 : return tcp_request_sock_ipv4_ops.send_synack(sk, dst, fl, req, foc, + 366 : 1476 : return tcp_request_sock_ipv4_ops.send_synack(sk, dst, fl, req, foc, 367 : : synack_type, syn_skb); 368 : : } 369 : : 370 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) - 371 : 308 : static int subflow_v6_send_synack(const struct sock *sk, struct dst_entry *dst, + 371 : 303 : static int subflow_v6_send_synack(const struct sock *sk, struct dst_entry *dst, 372 : : struct flowi *fl, 373 : : struct request_sock *req, 374 : : struct tcp_fastopen_cookie *foc, 375 : : enum tcp_synack_type synack_type, 376 : : struct sk_buff *syn_skb) 377 : : { - 378 : 308 : subflow_prep_synack(sk, req, foc, synack_type); + 378 : 303 : subflow_prep_synack(sk, req, foc, synack_type); 379 : : - 380 : 308 : return tcp_request_sock_ipv6_ops.send_synack(sk, dst, fl, req, foc, + 380 : 303 : return tcp_request_sock_ipv6_ops.send_synack(sk, dst, fl, req, foc, 381 : : synack_type, syn_skb); 382 : : } 383 : : - 384 : 302 : static struct dst_entry *subflow_v6_route_req(const struct sock *sk, + 384 : 301 : static struct dst_entry *subflow_v6_route_req(const struct sock *sk, 385 : : struct sk_buff *skb, 386 : : struct flowi *fl, 387 : : struct request_sock *req, 388 : : u32 tw_isn) 389 : : { - 390 : 302 : struct dst_entry *dst; - 391 : 302 : int err; + 390 : 301 : struct dst_entry *dst; + 391 : 301 : int err; 392 : : - 393 : 302 : tcp_rsk(req)->is_mptcp = 1; - 394 : 302 : subflow_init_req(req, sk); + 393 : 301 : tcp_rsk(req)->is_mptcp = 1; + 394 : 301 : subflow_init_req(req, sk); 395 : : - 396 : 302 : dst = tcp_request_sock_ipv6_ops.route_req(sk, skb, fl, req, tw_isn); - 397 [ - + ]: 302 : if (!dst) + 396 : 301 : dst = tcp_request_sock_ipv6_ops.route_req(sk, skb, fl, req, tw_isn); + 397 [ - + ]: 301 : if (!dst) 398 : : return NULL; 399 : : - 400 : 302 : err = subflow_check_req(req, sk, skb); - 401 [ + + ]: 302 : if (err == 0) + 400 : 301 : err = subflow_check_req(req, sk, skb); + 401 [ + + ]: 301 : if (err == 0) 402 : : return dst; 403 : : 404 : 2 : dst_release(dst); @@ -595,28 +595,28 @@ 512 : 1118 : subflow_set_remote_key(msk, subflow, mp_opt); 513 : : } 514 : : - 515 [ + + ]: 1202 : if (!sock_owned_by_user(sk)) { - 516 : 303 : __mptcp_sync_state(sk, ssk->sk_state); + 515 [ + + ]: 1202 : if (!sock_owned_by_user(sk)) { + 516 : 326 : __mptcp_sync_state(sk, ssk->sk_state); 517 : : } else { - 518 : 899 : msk->pending_state = ssk->sk_state; - 519 [ - + - - : 899 : __set_bit(MPTCP_SYNC_STATE, &msk->cb_flags); + 518 : 876 : msk->pending_state = ssk->sk_state; + 519 [ - + - - : 876 : __set_bit(MPTCP_SYNC_STATE, &msk->cb_flags); - - ] 520 : : } 521 : 1202 : mptcp_data_unlock(sk); 522 : 1202 : } 523 : : - 524 : 5015 : static void subflow_finish_connect(struct sock *sk, const struct sk_buff *skb) + 524 : 4783 : static void subflow_finish_connect(struct sock *sk, const struct sk_buff *skb) 525 : : { - 526 : 5015 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); - 527 : 5015 : struct mptcp_options_received mp_opt; - 528 : 5015 : struct sock *parent = subflow->conn; - 529 : 5015 : struct mptcp_sock *msk; + 526 : 4783 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); + 527 : 4783 : struct mptcp_options_received mp_opt; + 528 : 4783 : struct sock *parent = subflow->conn; + 529 : 4783 : struct mptcp_sock *msk; 530 : : - 531 : 5015 : subflow->icsk_af_ops->sk_rx_dst_set(sk, skb); + 531 : 4783 : subflow->icsk_af_ops->sk_rx_dst_set(sk, skb); 532 : : 533 : : /* be sure no special action on any packet other than syn-ack */ - 534 [ + + ]: 5015 : if (subflow->conn_finished) - 535 : 5015 : return; + 534 [ + + ]: 4783 : if (subflow->conn_finished) + 535 : 4783 : return; 536 : : 537 [ - + ]: 1689 : msk = mptcp_sk(parent); 538 : 1689 : subflow->rel_write_seq = 1; @@ -700,19 +700,19 @@ 616 : 0 : mptcp_subflow_reset(sk); 617 : : } 618 : : - 619 : 1148 : static void subflow_set_local_id(struct mptcp_subflow_context *subflow, int local_id) + 619 : 1146 : static void subflow_set_local_id(struct mptcp_subflow_context *subflow, int local_id) 620 : : { - 621 [ - + ]: 1082 : WARN_ON_ONCE(local_id < 0 || local_id > 255); - 622 : 2262 : WRITE_ONCE(subflow->local_id, local_id); - 623 : 2262 : } + 621 [ - + ]: 1080 : WARN_ON_ONCE(local_id < 0 || local_id > 255); + 622 : 2260 : WRITE_ONCE(subflow->local_id, local_id); + 623 : 2260 : } 624 : : - 625 : 6993 : static int subflow_chk_local_id(struct sock *sk) + 625 : 6817 : static int subflow_chk_local_id(struct sock *sk) 626 : : { - 627 [ - + ]: 6993 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); - 628 [ - + ]: 6993 : struct mptcp_sock *msk = mptcp_sk(subflow->conn); - 629 : 6993 : int err; + 627 [ - + ]: 6817 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); + 628 [ - + ]: 6817 : struct mptcp_sock *msk = mptcp_sk(subflow->conn); + 629 : 6817 : int err; 630 : : - 631 [ + + ]: 6993 : if (likely(subflow->local_id >= 0)) + 631 [ + + ]: 6817 : if (likely(subflow->local_id >= 0)) 632 : : return 0; 633 : : 634 : 251 : err = mptcp_pm_get_local_id(msk, (struct sock_common *)sk); @@ -725,42 +725,42 @@ 641 : 251 : return 0; 642 : : } 643 : : - 644 : 5530 : static int subflow_rebuild_header(struct sock *sk) + 644 : 5517 : static int subflow_rebuild_header(struct sock *sk) 645 : : { - 646 : 5530 : int err = subflow_chk_local_id(sk); + 646 : 5517 : int err = subflow_chk_local_id(sk); 647 : : - 648 [ + - ]: 5530 : if (unlikely(err < 0)) + 648 [ + - ]: 5517 : if (unlikely(err < 0)) 649 : : return err; 650 : : - 651 : 5530 : return inet_sk_rebuild_header(sk); + 651 : 5517 : return inet_sk_rebuild_header(sk); 652 : : } 653 : : 654 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) - 655 : 1463 : static int subflow_v6_rebuild_header(struct sock *sk) + 655 : 1300 : static int subflow_v6_rebuild_header(struct sock *sk) 656 : : { - 657 : 1463 : int err = subflow_chk_local_id(sk); + 657 : 1300 : int err = subflow_chk_local_id(sk); 658 : : - 659 [ + - ]: 1463 : if (unlikely(err < 0)) + 659 [ + - ]: 1300 : if (unlikely(err < 0)) 660 : : return err; 661 : : - 662 : 1463 : return inet6_sk_rebuild_header(sk); + 662 : 1300 : return inet6_sk_rebuild_header(sk); 663 : : } 664 : : #endif 665 : : 666 : : static struct request_sock_ops mptcp_subflow_v4_request_sock_ops __ro_after_init; 667 : : static struct tcp_request_sock_ops subflow_request_sock_ipv4_ops __ro_after_init; 668 : : - 669 : 1483 : static int subflow_v4_conn_request(struct sock *sk, struct sk_buff *skb) + 669 : 1484 : static int subflow_v4_conn_request(struct sock *sk, struct sk_buff *skb) 670 : : { - 671 [ - + ]: 1483 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); + 671 [ - + ]: 1484 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); 672 : : - 673 [ - + ]: 1483 : pr_debug("subflow=%p\n", subflow); + 673 [ - + ]: 1484 : pr_debug("subflow=%p\n", subflow); 674 : : 675 : : /* Never answer to SYNs sent to broadcast or multicast */ - 676 [ - + ]: 1483 : if (skb_rtable(skb)->rt_flags & (RTCF_BROADCAST | RTCF_MULTICAST)) + 676 [ - + ]: 1484 : if (skb_rtable(skb)->rt_flags & (RTCF_BROADCAST | RTCF_MULTICAST)) 677 : 0 : goto drop; 678 : : - 679 : 1483 : return tcp_conn_request(&mptcp_subflow_v4_request_sock_ops, + 679 : 1484 : return tcp_conn_request(&mptcp_subflow_v4_request_sock_ops, 680 : : &subflow_request_sock_ipv4_ops, 681 : : sk, skb); 682 : 0 : drop: @@ -768,11 +768,11 @@ 684 : 0 : return 0; 685 : : } 686 : : - 687 : 1523 : static void subflow_v4_req_destructor(struct request_sock *req) + 687 : 1525 : static void subflow_v4_req_destructor(struct request_sock *req) 688 : : { - 689 : 1523 : subflow_req_destructor(req); - 690 : 1523 : tcp_request_sock_ops.destructor(req); - 691 : 1523 : } + 689 : 1525 : subflow_req_destructor(req); + 690 : 1525 : tcp_request_sock_ops.destructor(req); + 691 : 1525 : } 692 : : 693 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) 694 : : static struct request_sock_ops mptcp_subflow_v6_request_sock_ops __ro_after_init; @@ -787,18 +787,18 @@ 703 : : 704 [ - + ]: 938 : pr_debug("subflow=%p\n", subflow); 705 : : - 706 [ + + ]: 938 : if (skb->protocol == htons(ETH_P_IP)) - 707 : 636 : return subflow_v4_conn_request(sk, skb); + 706 [ + + ]: 938 : if (skb->protocol == htons(ETH_P_IP)) + 707 : 637 : return subflow_v4_conn_request(sk, skb); 708 : : - 709 [ - + ]: 302 : if (!ipv6_unicast_destination(skb)) + 709 [ - + ]: 301 : if (!ipv6_unicast_destination(skb)) 710 : 0 : goto drop; 711 : : - 712 [ - + ]: 302 : if (ipv6_addr_v4mapped(&ipv6_hdr(skb)->saddr)) { + 712 [ - + ]: 301 : if (ipv6_addr_v4mapped(&ipv6_hdr(skb)->saddr)) { 713 : 0 : __IP6_INC_STATS(sock_net(sk), NULL, IPSTATS_MIB_INHDRERRORS); 714 : 0 : return 0; 715 : : } 716 : : - 717 : 302 : return tcp_conn_request(&mptcp_subflow_v6_request_sock_ops, + 717 : 301 : return tcp_conn_request(&mptcp_subflow_v6_request_sock_ops, 718 : : &subflow_request_sock_ipv6_ops, sk, skb); 719 : : 720 : 0 : drop: @@ -806,25 +806,25 @@ 722 : 0 : return 0; /* don't send reset */ 723 : : } 724 : : - 725 : 310 : static void subflow_v6_req_destructor(struct request_sock *req) + 725 : 309 : static void subflow_v6_req_destructor(struct request_sock *req) 726 : : { - 727 : 310 : subflow_req_destructor(req); - 728 : 310 : tcp6_request_sock_ops.destructor(req); - 729 : 310 : } + 727 : 309 : subflow_req_destructor(req); + 728 : 309 : tcp6_request_sock_ops.destructor(req); + 729 : 309 : } 730 : : #endif 731 : : - 732 : 48 : struct request_sock *mptcp_subflow_reqsk_alloc(const struct request_sock_ops *ops, + 732 : 49 : struct request_sock *mptcp_subflow_reqsk_alloc(const struct request_sock_ops *ops, 733 : : struct sock *sk_listener, 734 : : bool attach_listener) 735 : : { - 736 [ + + ]: 48 : if (ops->family == AF_INET) + 736 [ + + ]: 49 : if (ops->family == AF_INET) 737 : : ops = &mptcp_subflow_v4_request_sock_ops; 738 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) 739 [ + - ]: 8 : else if (ops->family == AF_INET6) 740 : 8 : ops = &mptcp_subflow_v6_request_sock_ops; 741 : : #endif 742 : : - 743 : 48 : return inet_reqsk_alloc(ops, sk_listener, attach_listener); + 743 : 49 : return inet_reqsk_alloc(ops, sk_listener, attach_listener); 744 : : } 745 : : EXPORT_SYMBOL(mptcp_subflow_reqsk_alloc); 746 : : @@ -849,24 +849,24 @@ 765 : 513 : return !crypto_memneq(hmac, mp_opt->hmac, MPTCPOPT_HMAC_LEN); 766 : : } 767 : : - 768 : 144 : static void subflow_ulp_fallback(struct sock *sk, + 768 : 145 : static void subflow_ulp_fallback(struct sock *sk, 769 : : struct mptcp_subflow_context *old_ctx) 770 : : { - 771 : 144 : struct inet_connection_sock *icsk = inet_csk(sk); + 771 : 145 : struct inet_connection_sock *icsk = inet_csk(sk); 772 : : - 773 [ - + ]: 144 : mptcp_subflow_tcp_fallback(sk, old_ctx); - 774 : 144 : icsk->icsk_ulp_ops = NULL; - 775 : 144 : rcu_assign_pointer(icsk->icsk_ulp_data, NULL); - 776 [ - + ]: 144 : tcp_sk(sk)->is_mptcp = 0; + 773 [ - + ]: 145 : mptcp_subflow_tcp_fallback(sk, old_ctx); + 774 : 145 : icsk->icsk_ulp_ops = NULL; + 775 : 145 : rcu_assign_pointer(icsk->icsk_ulp_data, NULL); + 776 [ - + ]: 145 : tcp_sk(sk)->is_mptcp = 0; 777 : : - 778 : 168 : mptcp_subflow_ops_undo_override(sk); - 779 : 144 : } + 778 : 169 : mptcp_subflow_ops_undo_override(sk); + 779 : 145 : } 780 : : - 781 : 144 : void mptcp_subflow_drop_ctx(struct sock *ssk) + 781 : 145 : void mptcp_subflow_drop_ctx(struct sock *ssk) 782 : : { - 783 [ + + ]: 144 : struct mptcp_subflow_context *ctx = mptcp_subflow_ctx(ssk); + 783 [ + + ]: 145 : struct mptcp_subflow_context *ctx = mptcp_subflow_ctx(ssk); 784 : : - 785 [ + + ]: 144 : if (!ctx) + 785 [ + + ]: 145 : if (!ctx) 786 : : return; 787 : : 788 [ + - ]: 68 : list_del(&mptcp_subflow_ctx(ssk)->node); @@ -891,38 +891,38 @@ 807 : 26 : __mptcp_fastopen_gen_msk_ackseq(msk, subflow, mp_opt); 808 : 2699 : } 809 : : - 810 : 1769 : static struct sock *subflow_syn_recv_sock(const struct sock *sk, + 810 : 1770 : static struct sock *subflow_syn_recv_sock(const struct sock *sk, 811 : : struct sk_buff *skb, 812 : : struct request_sock *req, 813 : : struct dst_entry *dst, 814 : : struct request_sock *req_unhash, 815 : : bool *own_req) 816 : : { - 817 [ - + ]: 1769 : struct mptcp_subflow_context *listener = mptcp_subflow_ctx(sk); - 818 : 1769 : struct mptcp_subflow_request_sock *subflow_req; - 819 : 1769 : struct mptcp_options_received mp_opt; - 820 : 1769 : bool fallback, fallback_is_fatal; - 821 : 1769 : enum sk_rst_reason reason; - 822 : 1769 : struct mptcp_sock *owner; - 823 : 1769 : struct sock *child; + 817 [ - + ]: 1770 : struct mptcp_subflow_context *listener = mptcp_subflow_ctx(sk); + 818 : 1770 : struct mptcp_subflow_request_sock *subflow_req; + 819 : 1770 : struct mptcp_options_received mp_opt; + 820 : 1770 : bool fallback, fallback_is_fatal; + 821 : 1770 : enum sk_rst_reason reason; + 822 : 1770 : struct mptcp_sock *owner; + 823 : 1770 : struct sock *child; 824 : : - 825 [ - + ]: 1769 : pr_debug("listener=%p, req=%p, conn=%p\n", listener, req, listener->conn); + 825 [ - + ]: 1770 : pr_debug("listener=%p, req=%p, conn=%p\n", listener, req, listener->conn); 826 : : 827 : : /* After child creation we must look for MPC even when options 828 : : * are not parsed 829 : : */ - 830 : 1769 : mp_opt.suboptions = 0; + 830 : 1770 : mp_opt.suboptions = 0; 831 : : 832 : : /* hopefully temporary handling for MP_JOIN+syncookie */ - 833 : 1769 : subflow_req = mptcp_subflow_rsk(req); - 834 [ + + + + : 1769 : fallback_is_fatal = tcp_rsk(req)->is_mptcp && subflow_req->mp_join; + 833 : 1770 : subflow_req = mptcp_subflow_rsk(req); + 834 [ + + + + : 1770 : fallback_is_fatal = tcp_rsk(req)->is_mptcp && subflow_req->mp_join; + + ] - 835 [ - + ]: 1769 : fallback = !tcp_rsk(req)->is_mptcp; - 836 [ - + ]: 1769 : if (fallback) + 835 [ - + ]: 1770 : fallback = !tcp_rsk(req)->is_mptcp; + 836 [ - + ]: 1770 : if (fallback) 837 : 0 : goto create_child; 838 : : 839 : : /* if the sk is MP_CAPABLE, we try to fetch the client key */ - 840 [ + + ]: 1769 : if (subflow_req->mp_capable) { + 840 [ + + ]: 1770 : if (subflow_req->mp_capable) { 841 : : /* we can receive and accept an in-window, out-of-order pkt, 842 : : * which may not carry the MP_CAPABLE opt even on mptcp enabled 843 : : * paths: always try to extract the peer key, and fallback @@ -936,7 +936,7 @@ 851 : : (OPTION_MPTCP_MPC_SYN | OPTION_MPTCP_MPC_ACK))) 852 : 0 : fallback = true; 853 : : - 854 [ + + ]: 589 : } else if (subflow_req->mp_join) { + 854 [ + + ]: 590 : } else if (subflow_req->mp_join) { 855 : 513 : mptcp_get_options(skb, &mp_opt); 856 [ + - + - ]: 1026 : if (!(mp_opt.suboptions & OPTION_MPTCP_MPJ_ACK) || 857 [ + + ]: 1026 : !subflow_hmac_valid(req, &mp_opt) || @@ -946,26 +946,26 @@ 861 : : } 862 : : } 863 : : - 864 : 521 : create_child: - 865 : 1769 : child = listener->icsk_af_ops->syn_recv_sock(sk, skb, req, dst, + 864 : 522 : create_child: + 865 : 1770 : child = listener->icsk_af_ops->syn_recv_sock(sk, skb, req, dst, 866 : : req_unhash, own_req); 867 : : - 868 [ + - + + : 1769 : if (child && *own_req) { + 868 [ + - + + : 1770 : if (child && *own_req) { + - ] - 869 [ + + ]: 1769 : struct mptcp_subflow_context *ctx = mptcp_subflow_ctx(child); + 869 [ + + ]: 1770 : struct mptcp_subflow_context *ctx = mptcp_subflow_ctx(child); 870 : : - 871 : 1769 : tcp_rsk(req)->drop_req = false; + 871 : 1770 : tcp_rsk(req)->drop_req = false; 872 : : 873 : : /* we need to fallback on ctx allocation failure and on pre-reqs 874 : : * checking above. In the latter scenario we additionally need 875 : : * to reset the context to non MPTCP status. 876 : : */ - 877 [ + + ]: 1769 : if (!ctx || fallback) { - 878 [ + + ]: 102 : if (fallback_is_fatal) { + 877 [ + + ]: 1770 : if (!ctx || fallback) { + 878 [ + + ]: 103 : if (fallback_is_fatal) { 879 : 8 : subflow_add_reset_reason(skb, MPTCP_RST_EMPTCP); 880 : 8 : goto dispose_child; 881 : : } - 882 : 94 : goto fallback; + 882 : 95 : goto fallback; 883 : : } 884 : : 885 : : /* ssk inherits options of listener sk */ @@ -1044,11 +1044,11 @@ 955 : : /* The last child reference will be released by the caller */ 956 : 8 : return child; 957 : : - 958 : 94 : fallback: - 959 [ + + ]: 94 : if (fallback) + 958 : 95 : fallback: + 959 [ + + ]: 95 : if (fallback) 960 [ + - ]: 18 : SUBFLOW_REQ_INC_STATS(req, MPTCP_MIB_MPCAPABLEPASSIVEFALLBACK); - 961 : 94 : mptcp_subflow_drop_ctx(child); - 962 : 94 : return child; + 961 : 95 : mptcp_subflow_drop_ctx(child); + 962 : 95 : return child; 963 : : } 964 : : 965 : : static struct inet_connection_sock_af_ops subflow_specific __ro_after_init; @@ -1085,19 +1085,19 @@ 996 : 0 : mptcp_subflow_get_map_offset(subflow); 997 : : } 998 : : - 999 : 228374 : static bool validate_mapping(struct sock *ssk, struct sk_buff *skb) + 999 : 191417 : static bool validate_mapping(struct sock *ssk, struct sk_buff *skb) 1000 : : { - 1001 [ - + ]: 228374 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); - 1002 [ - + ]: 228374 : u32 ssn = tcp_sk(ssk)->copied_seq - subflow->ssn_offset; + 1001 [ - + ]: 191417 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); + 1002 [ - + ]: 191417 : u32 ssn = tcp_sk(ssk)->copied_seq - subflow->ssn_offset; 1003 : : - 1004 [ - + ]: 228374 : if (unlikely(before(ssn, subflow->map_subflow_seq))) { + 1004 [ - + ]: 191417 : if (unlikely(before(ssn, subflow->map_subflow_seq))) { 1005 : : /* Mapping covers data later in the subflow stream, 1006 : : * currently unsupported. 1007 : : */ 1008 : 0 : dbg_bad_map(subflow, ssn); 1009 : 0 : return false; 1010 : : } - 1011 [ - + ]: 228374 : if (unlikely(!before(ssn, subflow->map_subflow_seq + + 1011 [ - + ]: 191417 : if (unlikely(!before(ssn, subflow->map_subflow_seq + 1012 : : subflow->map_data_len))) { 1013 : : /* Mapping does covers past subflow data, invalid */ 1014 : 0 : dbg_bad_map(subflow, ssn); @@ -1106,19 +1106,19 @@ 1017 : : return true; 1018 : : } 1019 : : - 1020 : 639605 : static enum mapping_status validate_data_csum(struct sock *ssk, struct sk_buff *skb, + 1020 : 528397 : static enum mapping_status validate_data_csum(struct sock *ssk, struct sk_buff *skb, 1021 : : bool csum_reqd) 1022 : : { - 1023 [ + + ]: 639605 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); - 1024 : 639605 : u32 offset, seq, delta; - 1025 : 639605 : __sum16 csum; - 1026 : 639605 : int len; + 1023 [ + + ]: 528397 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); + 1024 : 528397 : u32 offset, seq, delta; + 1025 : 528397 : __sum16 csum; + 1026 : 528397 : int len; 1027 : : - 1028 [ + + ]: 639605 : if (!csum_reqd) + 1028 [ + + ]: 528397 : if (!csum_reqd) 1029 : : return MAPPING_OK; 1030 : : 1031 : : /* mapping already validated on previous traversal */ - 1032 [ + + ]: 1614 : if (subflow->map_csum_len == subflow->map_data_len) + 1032 [ + + ]: 1607 : if (subflow->map_csum_len == subflow->map_data_len) 1033 : : return MAPPING_OK; 1034 : : 1035 : : /* traverse the receive queue, ensuring it contains a full @@ -1126,39 +1126,39 @@ 1037 : : * Preserve the accoumlate csum across multiple calls, to compute 1038 : : * the csum only once 1039 : : */ - 1040 : 1604 : delta = subflow->map_data_len - subflow->map_csum_len; - 1041 : 10167 : for (;;) { - 1042 [ - + ]: 10167 : seq = tcp_sk(ssk)->copied_seq + subflow->map_csum_len; - 1043 : 10167 : offset = seq - TCP_SKB_CB(skb)->seq; + 1040 : 1597 : delta = subflow->map_data_len - subflow->map_csum_len; + 1041 : 10262 : for (;;) { + 1042 [ - + ]: 10262 : seq = tcp_sk(ssk)->copied_seq + subflow->map_csum_len; + 1043 : 10262 : offset = seq - TCP_SKB_CB(skb)->seq; 1044 : : 1045 : : /* if the current skb has not been accounted yet, csum its contents 1046 : : * up to the amount covered by the current DSS 1047 : : */ - 1048 [ + + ]: 10167 : if (offset < skb->len) { - 1049 : 1604 : __wsum csum; + 1048 [ + + ]: 10262 : if (offset < skb->len) { + 1049 : 1598 : __wsum csum; 1050 : : - 1051 : 1604 : len = min(skb->len - offset, delta); - 1052 : 1604 : csum = skb_checksum(skb, offset, len, 0); - 1053 : 3208 : subflow->map_data_csum = csum_block_add(subflow->map_data_csum, csum, - 1054 [ - + ]: 1604 : subflow->map_csum_len); + 1051 : 1598 : len = min(skb->len - offset, delta); + 1052 : 1598 : csum = skb_checksum(skb, offset, len, 0); + 1053 : 3196 : subflow->map_data_csum = csum_block_add(subflow->map_data_csum, csum, + 1054 [ - + ]: 1598 : subflow->map_csum_len); 1055 : : - 1056 : 1604 : delta -= len; - 1057 : 1604 : subflow->map_csum_len += len; + 1056 : 1598 : delta -= len; + 1057 : 1598 : subflow->map_csum_len += len; 1058 : : } - 1059 [ + + ]: 10167 : if (delta == 0) + 1059 [ + + ]: 10262 : if (delta == 0) 1060 : : break; 1061 : : - 1062 [ + + ]: 10031 : if (skb_queue_is_last(&ssk->sk_receive_queue, skb)) { + 1062 [ + + ]: 10134 : if (skb_queue_is_last(&ssk->sk_receive_queue, skb)) { 1063 : : /* if this subflow is closed, the partial mapping 1064 : : * will be never completed; flush the pending skbs, so 1065 : : * that subflow_sched_work_if_closed() can kick in 1066 : : */ - 1067 [ - + ]: 1468 : if (unlikely(ssk->sk_state == TCP_CLOSE)) + 1067 [ - + ]: 1469 : if (unlikely(ssk->sk_state == TCP_CLOSE)) 1068 [ # # # # ]: 0 : while ((skb = skb_peek(&ssk->sk_receive_queue))) 1069 : 0 : sk_eat_skb(ssk, skb); 1070 : : 1071 : : /* not enough data to validate the csum */ - 1072 : 1468 : return MAPPING_EMPTY; + 1072 : 1469 : return MAPPING_EMPTY; 1073 : : } 1074 : : 1075 : : /* the DSS mapping for next skbs will be validated later, @@ -1172,73 +1172,73 @@ 1083 : : * while the pseudo header requires the original DSS data len, 1084 : : * including that 1085 : : */ - 1086 : 136 : csum = __mptcp_make_csum(subflow->map_seq, + 1086 : 128 : csum = __mptcp_make_csum(subflow->map_seq, 1087 : : subflow->map_subflow_seq, - 1088 : 136 : subflow->map_data_len + subflow->map_data_fin, + 1088 : 128 : subflow->map_data_len + subflow->map_data_fin, 1089 : : subflow->map_data_csum); - 1090 [ + + ]: 136 : if (unlikely(csum)) { + 1090 [ + + ]: 128 : if (unlikely(csum)) { 1091 [ + - ]: 4 : MPTCP_INC_STATS(sock_net(ssk), MPTCP_MIB_DATACSUMERR); 1092 : 4 : return MAPPING_BAD_CSUM; 1093 : : } 1094 : : - 1095 : 132 : subflow->valid_csum_seen = 1; - 1096 : 132 : return MAPPING_OK; + 1095 : 124 : subflow->valid_csum_seen = 1; + 1096 : 124 : return MAPPING_OK; 1097 : : } 1098 : : - 1099 : 1293644 : static enum mapping_status get_mapping_status(struct sock *ssk, + 1099 : 1067464 : static enum mapping_status get_mapping_status(struct sock *ssk, 1100 : : struct mptcp_sock *msk) 1101 : : { - 1102 [ + + ]: 1293644 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); - 1103 [ - + ]: 1293644 : bool csum_reqd = READ_ONCE(msk->csum_enabled); - 1104 : 1293644 : struct mptcp_ext *mpext; - 1105 : 1293644 : struct sk_buff *skb; - 1106 : 1293644 : u16 data_len; - 1107 : 1293644 : u64 map_seq; + 1102 [ + + ]: 1067464 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); + 1103 [ - + ]: 1067464 : bool csum_reqd = READ_ONCE(msk->csum_enabled); + 1104 : 1067464 : struct mptcp_ext *mpext; + 1105 : 1067464 : struct sk_buff *skb; + 1106 : 1067464 : u16 data_len; + 1107 : 1067464 : u64 map_seq; 1108 : : - 1109 [ + + ]: 1293716 : skb = skb_peek(&ssk->sk_receive_queue); - 1110 [ - + ]: 646898 : if (!skb) + 1109 [ + + ]: 1067536 : skb = skb_peek(&ssk->sk_receive_queue); + 1110 [ - + ]: 533242 : if (!skb) 1111 : : return MAPPING_EMPTY; 1112 : : - 1113 [ + + ]: 646898 : if (mptcp_check_fallback(ssk)) + 1113 [ + + ]: 533242 : if (mptcp_check_fallback(ssk)) 1114 : : return MAPPING_DUMMY; 1115 : : - 1116 [ + + ]: 640597 : mpext = mptcp_get_ext(skb); - 1117 [ + + + + ]: 639767 : if (!mpext || !mpext->use_map) { - 1118 [ + + + + ]: 2700 : if (!subflow->map_valid && !skb->len) { + 1116 [ + + ]: 529334 : mpext = mptcp_get_ext(skb); + 1117 [ + + + + ]: 528535 : if (!mpext || !mpext->use_map) { + 1118 [ + + + + ]: 2620 : if (!subflow->map_valid && !skb->len) { 1119 : : /* the TCP stack deliver 0 len FIN pkt to the receive 1120 : : * queue, that is the only 0len pkts ever expected here, 1121 : : * and we can admit no mapping only for 0 len pkts 1122 : : */ - 1123 [ - + ]: 972 : if (!(TCP_SKB_CB(skb)->tcp_flags & TCPHDR_FIN)) + 1123 [ - + ]: 917 : if (!(TCP_SKB_CB(skb)->tcp_flags & TCPHDR_FIN)) 1124 [ # # # # ]: 0 : WARN_ONCE(1, "0len seq %d:%d flags %x", 1125 : : TCP_SKB_CB(skb)->seq, 1126 : : TCP_SKB_CB(skb)->end_seq, 1127 : : TCP_SKB_CB(skb)->tcp_flags); - 1128 : 972 : sk_eat_skb(ssk, skb); - 1129 : 972 : return MAPPING_EMPTY; + 1128 : 917 : sk_eat_skb(ssk, skb); + 1129 : 917 : return MAPPING_EMPTY; 1130 : : } 1131 : : 1132 : : /* If the required DSS has likely been dropped by a middlebox */ - 1133 [ + + ]: 1728 : if (!subflow->map_valid) + 1133 [ + + ]: 1703 : if (!subflow->map_valid) 1134 : : return MAPPING_NODSS; 1135 : : - 1136 : 1722 : goto validate_seq; + 1136 : 1697 : goto validate_seq; 1137 : : } 1138 : : - 1139 : 637897 : trace_get_mapping_status(mpext); + 1139 : 526714 : trace_get_mapping_status(mpext); 1140 : : - 1141 : 637897 : data_len = mpext->data_len; - 1142 [ + + ]: 637897 : if (data_len == 0) { + 1141 : 526714 : data_len = mpext->data_len; + 1142 [ + + ]: 526714 : if (data_len == 0) { 1143 [ - + ]: 2 : pr_debug("infinite mapping received\n"); 1144 [ + - ]: 2 : MPTCP_INC_STATS(sock_net(ssk), MPTCP_MIB_INFINITEMAPRX); 1145 : 2 : subflow->map_data_len = 0; 1146 : 2 : return MAPPING_INVALID; 1147 : : } 1148 : : - 1149 [ + + ]: 637895 : if (mpext->data_fin == 1) { - 1150 : 885 : u64 data_fin_seq; + 1149 [ + + ]: 526712 : if (mpext->data_fin == 1) { + 1150 : 892 : u64 data_fin_seq; 1151 : : - 1152 [ + + ]: 885 : if (data_len == 1) { + 1152 [ + + ]: 892 : if (data_len == 1) { 1153 : 12 : bool updated = mptcp_update_rcv_data_fin(msk, mpext->data_seq, 1154 : 12 : mpext->dsn64); 1155 [ - + ]: 12 : pr_debug("DATA_FIN with no payload seq=%llu\n", mpext->data_seq); @@ -1258,33 +1258,33 @@ 1169 : 12 : return MAPPING_DATA_FIN; 1170 : : } 1171 : : - 1172 : 873 : data_fin_seq = mpext->data_seq + data_len - 1; + 1172 : 880 : data_fin_seq = mpext->data_seq + data_len - 1; 1173 : : 1174 : : /* If mpext->data_seq is a 32-bit value, data_fin_seq must also 1175 : : * be limited to 32 bits. 1176 : : */ - 1177 [ - + ]: 873 : if (!mpext->dsn64) + 1177 [ - + ]: 880 : if (!mpext->dsn64) 1178 : 0 : data_fin_seq &= GENMASK_ULL(31, 0); 1179 : : - 1180 : 873 : mptcp_update_rcv_data_fin(msk, data_fin_seq, mpext->dsn64); - 1181 [ - + ]: 873 : pr_debug("DATA_FIN with mapping seq=%llu dsn64=%d\n", + 1180 : 880 : mptcp_update_rcv_data_fin(msk, data_fin_seq, mpext->dsn64); + 1181 [ - + ]: 880 : pr_debug("DATA_FIN with mapping seq=%llu dsn64=%d\n", 1182 : : data_fin_seq, mpext->dsn64); 1183 : : 1184 : : /* Adjust for DATA_FIN using 1 byte of sequence space */ - 1185 : 873 : data_len--; + 1185 : 880 : data_len--; 1186 : : } 1187 : : - 1188 [ + + ]: 637883 : map_seq = mptcp_expand_seq(READ_ONCE(msk->ack_seq), mpext->data_seq, mpext->dsn64); - 1189 [ - + ]: 637883 : WRITE_ONCE(mptcp_sk(subflow->conn)->use_64bit_ack, !!mpext->dsn64); + 1188 [ + + ]: 526700 : map_seq = mptcp_expand_seq(READ_ONCE(msk->ack_seq), mpext->data_seq, mpext->dsn64); + 1189 [ - + ]: 526700 : WRITE_ONCE(mptcp_sk(subflow->conn)->use_64bit_ack, !!mpext->dsn64); 1190 : : - 1191 [ + + ]: 637883 : if (subflow->map_valid) { + 1191 [ + + ]: 526700 : if (subflow->map_valid) { 1192 : : /* Allow replacing only with an identical map */ - 1193 [ + - ]: 411231 : if (subflow->map_seq == map_seq && - 1194 [ + - ]: 411231 : subflow->map_subflow_seq == mpext->subflow_seq && - 1195 [ + - ]: 411231 : subflow->map_data_len == data_len && - 1196 [ + - ]: 411231 : subflow->map_csum_reqd == mpext->csum_reqd) { - 1197 : 411231 : skb_ext_del(skb, SKB_EXT_MPTCP); - 1198 : 411231 : goto validate_csum; + 1193 [ + - ]: 336980 : if (subflow->map_seq == map_seq && + 1194 [ + - ]: 336980 : subflow->map_subflow_seq == mpext->subflow_seq && + 1195 [ + - ]: 336980 : subflow->map_data_len == data_len && + 1196 [ + - ]: 336980 : subflow->map_csum_reqd == mpext->csum_reqd) { + 1197 : 336980 : skb_ext_del(skb, SKB_EXT_MPTCP); + 1198 : 336980 : goto validate_csum; 1199 : : } 1200 : : 1201 : : /* If this skb data are fully covered by the current mapping, @@ -1299,81 +1299,81 @@ 1210 : 0 : goto validate_csum; 1211 : : } 1212 : : - 1213 : 226652 : subflow->map_seq = map_seq; - 1214 : 226652 : subflow->map_subflow_seq = mpext->subflow_seq; - 1215 : 226652 : subflow->map_data_len = data_len; - 1216 : 226652 : subflow->map_valid = 1; - 1217 : 226652 : subflow->map_data_fin = mpext->data_fin; - 1218 : 226652 : subflow->mpc_map = mpext->mpc_map; - 1219 : 226652 : subflow->map_csum_reqd = mpext->csum_reqd; - 1220 : 226652 : subflow->map_csum_len = 0; - 1221 [ - + ]: 226652 : subflow->map_data_csum = csum_unfold(mpext->csum); + 1213 : 189720 : subflow->map_seq = map_seq; + 1214 : 189720 : subflow->map_subflow_seq = mpext->subflow_seq; + 1215 : 189720 : subflow->map_data_len = data_len; + 1216 : 189720 : subflow->map_valid = 1; + 1217 : 189720 : subflow->map_data_fin = mpext->data_fin; + 1218 : 189720 : subflow->mpc_map = mpext->mpc_map; + 1219 : 189720 : subflow->map_csum_reqd = mpext->csum_reqd; + 1220 : 189720 : subflow->map_csum_len = 0; + 1221 [ - + ]: 189720 : subflow->map_data_csum = csum_unfold(mpext->csum); 1222 : : 1223 : : /* Cfr RFC 8684 Section 3.3.0 */ - 1224 [ - + ]: 226652 : if (unlikely(subflow->map_csum_reqd != csum_reqd)) + 1224 [ - + ]: 189720 : if (unlikely(subflow->map_csum_reqd != csum_reqd)) 1225 : : return MAPPING_INVALID; 1226 : : - 1227 [ - + ]: 226652 : pr_debug("new map seq=%llu subflow_seq=%u data_len=%u csum=%d:%u\n", + 1227 [ - + ]: 189720 : pr_debug("new map seq=%llu subflow_seq=%u data_len=%u csum=%d:%u\n", 1228 : : subflow->map_seq, subflow->map_subflow_seq, 1229 : : subflow->map_data_len, subflow->map_csum_reqd, 1230 : : subflow->map_data_csum); 1231 : : - 1232 : 228374 : validate_seq: + 1232 : 191417 : validate_seq: 1233 : : /* we revalidate valid mapping on new skb, because we must ensure 1234 : : * the current skb is completely covered by the available mapping 1235 : : */ - 1236 [ - + ]: 228374 : if (!validate_mapping(ssk, skb)) { + 1236 [ - + ]: 191417 : if (!validate_mapping(ssk, skb)) { 1237 [ # # ]: 0 : MPTCP_INC_STATS(sock_net(ssk), MPTCP_MIB_DSSTCPMISMATCH); 1238 : 0 : return MAPPING_INVALID; 1239 : : } 1240 : : - 1241 : 228374 : skb_ext_del(skb, SKB_EXT_MPTCP); + 1241 : 191417 : skb_ext_del(skb, SKB_EXT_MPTCP); 1242 : : - 1243 : 639605 : validate_csum: - 1244 : 639605 : return validate_data_csum(ssk, skb, csum_reqd); + 1243 : 528397 : validate_csum: + 1244 : 528397 : return validate_data_csum(ssk, skb, csum_reqd); 1245 : : } 1246 : : - 1247 : 5230 : static void mptcp_subflow_discard_data(struct sock *ssk, struct sk_buff *skb, + 1247 : 5044 : static void mptcp_subflow_discard_data(struct sock *ssk, struct sk_buff *skb, 1248 : : u64 limit) 1249 : : { - 1250 [ - + ]: 5230 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); - 1251 : 5230 : bool fin = TCP_SKB_CB(skb)->tcp_flags & TCPHDR_FIN; - 1252 [ - + ]: 5230 : struct tcp_sock *tp = tcp_sk(ssk); - 1253 : 5230 : u32 offset, incr, avail_len; + 1250 [ - + ]: 5044 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); + 1251 : 5044 : bool fin = TCP_SKB_CB(skb)->tcp_flags & TCPHDR_FIN; + 1252 [ - + ]: 5044 : struct tcp_sock *tp = tcp_sk(ssk); + 1253 : 5044 : u32 offset, incr, avail_len; 1254 : : - 1255 : 5230 : offset = tp->copied_seq - TCP_SKB_CB(skb)->seq; - 1256 [ - + - + ]: 5230 : if (WARN_ON_ONCE(offset > skb->len)) + 1255 : 5044 : offset = tp->copied_seq - TCP_SKB_CB(skb)->seq; + 1256 [ - + - + ]: 5044 : if (WARN_ON_ONCE(offset > skb->len)) 1257 : 0 : goto out; 1258 : : - 1259 : 5230 : avail_len = skb->len - offset; - 1260 [ + + ]: 5230 : incr = limit >= avail_len ? avail_len + fin : limit; + 1259 : 5044 : avail_len = skb->len - offset; + 1260 [ + + ]: 5044 : incr = limit >= avail_len ? avail_len + fin : limit; 1261 : : - 1262 [ - + ]: 5230 : pr_debug("discarding=%d len=%d offset=%d seq=%d\n", incr, skb->len, + 1262 [ - + ]: 5044 : pr_debug("discarding=%d len=%d offset=%d seq=%d\n", incr, skb->len, 1263 : : offset, subflow->map_subflow_seq); - 1264 [ + - ]: 5230 : MPTCP_INC_STATS(sock_net(ssk), MPTCP_MIB_DUPDATA); - 1265 [ - + ]: 5230 : tcp_sk(ssk)->copied_seq += incr; + 1264 [ + - ]: 5044 : MPTCP_INC_STATS(sock_net(ssk), MPTCP_MIB_DUPDATA); + 1265 [ - + ]: 5044 : tcp_sk(ssk)->copied_seq += incr; 1266 : : - 1267 : 5230 : out: - 1268 [ - + + + ]: 5230 : if (!before(tcp_sk(ssk)->copied_seq, TCP_SKB_CB(skb)->end_seq)) - 1269 : 4976 : sk_eat_skb(ssk, skb); - 1270 [ + + ]: 5230 : if (mptcp_subflow_get_map_offset(subflow) >= subflow->map_data_len) - 1271 : 3760 : subflow->map_valid = 0; - 1272 : 5230 : } + 1267 : 5044 : out: + 1268 [ - + + + ]: 5044 : if (!before(tcp_sk(ssk)->copied_seq, TCP_SKB_CB(skb)->end_seq)) + 1269 : 4816 : sk_eat_skb(ssk, skb); + 1270 [ + + ]: 5044 : if (mptcp_subflow_get_map_offset(subflow) >= subflow->map_data_len) + 1271 : 3770 : subflow->map_valid = 0; + 1272 : 5044 : } 1273 : : 1274 : : /* sched mptcp worker to remove the subflow if no more data is pending */ - 1275 : 654183 : static void subflow_sched_work_if_closed(struct mptcp_sock *msk, struct sock *ssk) + 1275 : 541577 : static void subflow_sched_work_if_closed(struct mptcp_sock *msk, struct sock *ssk) 1276 : : { - 1277 : 654183 : struct sock *sk = (struct sock *)msk; + 1277 : 541577 : struct sock *sk = (struct sock *)msk; 1278 : : - 1279 [ + + + + : 657141 : if (likely(ssk->sk_state != TCP_CLOSE && - + + ] + 1279 [ + + + + : 544355 : if (likely(ssk->sk_state != TCP_CLOSE && + + + ] 1280 : : (ssk->sk_state != TCP_CLOSE_WAIT || 1281 : : inet_sk_state_load(sk) != TCP_ESTABLISHED))) - 1282 : 652492 : return; + 1282 : 539844 : return; 1283 : : - 1284 [ + + + + ]: 3270 : if (skb_queue_empty(&ssk->sk_receive_queue) && - 1285 [ + + ]: 1719 : !test_and_set_bit(MPTCP_WORK_CLOSE_SUBFLOW, &msk->flags)) - 1286 : 622 : mptcp_schedule_work(sk); + 1284 [ + + + + ]: 3350 : if (skb_queue_empty(&ssk->sk_receive_queue) && + 1285 [ + + ]: 1765 : !test_and_set_bit(MPTCP_WORK_CLOSE_SUBFLOW, &msk->flags)) + 1286 : 632 : mptcp_schedule_work(sk); 1287 : : } 1288 : : 1289 : 8 : static bool subflow_can_fallback(struct mptcp_subflow_context *subflow) @@ -1415,59 +1415,59 @@ 1325 : 2 : mptcp_reset_tout_timer(msk, subflow->fail_tout); 1326 : : } 1327 : : - 1328 : 1290916 : static bool subflow_check_data_avail(struct sock *ssk) + 1328 : 1065094 : static bool subflow_check_data_avail(struct sock *ssk) 1329 : : { - 1330 [ + + ]: 1290916 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); - 1331 : 1290916 : enum mapping_status status; - 1332 : 1290916 : struct mptcp_sock *msk; - 1333 : 1290916 : struct sk_buff *skb; + 1330 [ + + ]: 1065094 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); + 1331 : 1065094 : enum mapping_status status; + 1332 : 1065094 : struct mptcp_sock *msk; + 1333 : 1065094 : struct sk_buff *skb; 1334 : : - 1335 [ + + - + ]: 1290916 : if (!skb_peek(&ssk->sk_receive_queue)) - 1336 : 641792 : WRITE_ONCE(subflow->data_avail, false); - 1337 [ + + + + ]: 1290916 : if (subflow->data_avail) + 1335 [ + + - + ]: 1065094 : if (!skb_peek(&ssk->sk_receive_queue)) + 1336 : 529412 : WRITE_ONCE(subflow->data_avail, false); + 1337 [ + + + + ]: 1065094 : if (subflow->data_avail) 1338 : : return true; 1339 : : - 1340 [ - + ]: 1288414 : msk = mptcp_sk(subflow->conn); - 1341 : 1298874 : for (;;) { - 1342 : 1293644 : u64 ack_seq; - 1343 : 1293644 : u64 old_ack; + 1340 [ - + ]: 1062420 : msk = mptcp_sk(subflow->conn); + 1341 : 1072508 : for (;;) { + 1342 : 1067464 : u64 ack_seq; + 1343 : 1067464 : u64 old_ack; 1344 : : - 1345 : 1293644 : status = get_mapping_status(ssk, msk); - 1346 [ + + ]: 1941362 : trace_subflow_check_data_avail(status, skb_peek(&ssk->sk_receive_queue)); - 1347 [ + + + + ]: 1293644 : if (unlikely(status == MAPPING_INVALID || status == MAPPING_DUMMY || + 1345 : 1067464 : status = get_mapping_status(ssk, msk); + 1346 [ + + ]: 1602603 : trace_subflow_check_data_avail(status, skb_peek(&ssk->sk_receive_queue)); + 1347 [ + + + + ]: 1067464 : if (unlikely(status == MAPPING_INVALID || status == MAPPING_DUMMY || 1348 : : status == MAPPING_BAD_CSUM || status == MAPPING_NODSS)) - 1349 : 6313 : goto fallback; + 1349 : 3920 : goto fallback; 1350 : : - 1351 [ + + ]: 1287331 : if (status != MAPPING_OK) - 1352 : 649198 : goto no_data; + 1351 [ + + ]: 1063544 : if (status != MAPPING_OK) + 1352 : 536620 : goto no_data; 1353 : : - 1354 [ + - ]: 638133 : skb = skb_peek(&ssk->sk_receive_queue); - 1355 [ - + ]: 638133 : if (WARN_ON_ONCE(!skb)) + 1354 [ + - ]: 526924 : skb = skb_peek(&ssk->sk_receive_queue); + 1355 [ - + ]: 526924 : if (WARN_ON_ONCE(!skb)) 1356 : 0 : goto no_data; 1357 : : - 1358 [ - + - + ]: 638133 : if (unlikely(!READ_ONCE(msk->can_ack))) + 1358 [ - + - + ]: 526924 : if (unlikely(!READ_ONCE(msk->can_ack))) 1359 : 0 : goto fallback; 1360 : : - 1361 : 638133 : old_ack = READ_ONCE(msk->ack_seq); - 1362 : 638133 : ack_seq = mptcp_subflow_get_mapped_dsn(subflow); - 1363 [ - + ]: 638133 : pr_debug("msk ack_seq=%llx subflow ack_seq=%llx\n", old_ack, + 1361 : 526924 : old_ack = READ_ONCE(msk->ack_seq); + 1362 : 526924 : ack_seq = mptcp_subflow_get_mapped_dsn(subflow); + 1363 [ - + ]: 526924 : pr_debug("msk ack_seq=%llx subflow ack_seq=%llx\n", old_ack, 1364 : : ack_seq); - 1365 [ + + ]: 638133 : if (unlikely(before64(ack_seq, old_ack))) { - 1366 : 5230 : mptcp_subflow_discard_data(ssk, skb, old_ack - ack_seq); - 1367 : 5230 : continue; + 1365 [ + + ]: 526924 : if (unlikely(before64(ack_seq, old_ack))) { + 1366 : 5044 : mptcp_subflow_discard_data(ssk, skb, old_ack - ack_seq); + 1367 : 5044 : continue; 1368 : : } 1369 : : - 1370 : 632903 : WRITE_ONCE(subflow->data_avail, true); - 1371 : 632903 : break; + 1370 : 521880 : WRITE_ONCE(subflow->data_avail, true); + 1371 : 521880 : break; 1372 : : } - 1373 : 632903 : return true; + 1373 : 521880 : return true; 1374 : : - 1375 : 649198 : no_data: - 1376 : 649198 : subflow_sched_work_if_closed(msk, ssk); - 1377 : 649198 : return false; + 1375 : 536620 : no_data: + 1376 : 536620 : subflow_sched_work_if_closed(msk, ssk); + 1377 : 536620 : return false; 1378 : : - 1379 : 6313 : fallback: - 1380 [ + + ]: 6313 : if (!__mptcp_check_fallback(msk)) { + 1379 : 3920 : fallback: + 1380 [ + + ]: 3920 : if (!__mptcp_check_fallback(msk)) { 1381 : : /* RFC 8684 section 3.7. */ 1382 [ + + ]: 12 : if (status == MAPPING_BAD_CSUM && 1383 [ + - ]: 4 : (subflow->mp_join || subflow->valid_csum_seen)) { @@ -1505,31 +1505,31 @@ 1415 : 8 : mptcp_do_fallback(ssk); 1416 : : } 1417 : : - 1418 [ - + ]: 6309 : skb = skb_peek(&ssk->sk_receive_queue); - 1419 : 6309 : subflow->map_valid = 1; - 1420 : 6309 : subflow->map_seq = READ_ONCE(msk->ack_seq); - 1421 : 6309 : subflow->map_data_len = skb->len; - 1422 [ - + ]: 6309 : subflow->map_subflow_seq = tcp_sk(ssk)->copied_seq - subflow->ssn_offset; - 1423 : 6309 : WRITE_ONCE(subflow->data_avail, true); - 1424 : 6309 : return true; + 1418 [ - + ]: 3916 : skb = skb_peek(&ssk->sk_receive_queue); + 1419 : 3916 : subflow->map_valid = 1; + 1420 : 3916 : subflow->map_seq = READ_ONCE(msk->ack_seq); + 1421 : 3916 : subflow->map_data_len = skb->len; + 1422 [ - + ]: 3916 : subflow->map_subflow_seq = tcp_sk(ssk)->copied_seq - subflow->ssn_offset; + 1423 : 3916 : WRITE_ONCE(subflow->data_avail, true); + 1424 : 3916 : return true; 1425 : : } 1426 : : - 1427 : 1290916 : bool mptcp_subflow_data_available(struct sock *sk) + 1427 : 1065094 : bool mptcp_subflow_data_available(struct sock *sk) 1428 : : { - 1429 [ + + ]: 1290916 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); + 1429 [ + + ]: 1065094 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); 1430 : : 1431 : : /* check if current mapping is still valid */ - 1432 [ + + ]: 1290916 : if (subflow->map_valid && - 1433 [ + + ]: 1054403 : mptcp_subflow_get_map_offset(subflow) >= subflow->map_data_len) { - 1434 : 229199 : subflow->map_valid = 0; - 1435 : 229199 : WRITE_ONCE(subflow->data_avail, false); + 1432 [ + + ]: 1065094 : if (subflow->map_valid && + 1433 [ + + ]: 866915 : mptcp_subflow_get_map_offset(subflow) >= subflow->map_data_len) { + 1434 : 189864 : subflow->map_valid = 0; + 1435 : 189864 : WRITE_ONCE(subflow->data_avail, false); 1436 : : - 1437 [ - + ]: 229199 : pr_debug("Done with mapping: seq=%u data_len=%u\n", + 1437 [ - + ]: 189864 : pr_debug("Done with mapping: seq=%u data_len=%u\n", 1438 : : subflow->map_subflow_seq, 1439 : : subflow->map_data_len); 1440 : : } 1441 : : - 1442 : 1290916 : return subflow_check_data_avail(sk); + 1442 : 1065094 : return subflow_check_data_avail(sk); 1443 : : } 1444 : : 1445 : : /* If ssk has an mptcp parent socket, use the mptcp rcvbuf occupancy, @@ -1541,81 +1541,81 @@ 1451 : : * as far as mptcp peer is concerned that data is still inflight. 1452 : : * DSS ACK is updated when skb is moved to the mptcp rx queue. 1453 : : */ - 1454 : 1412714 : void mptcp_space(const struct sock *ssk, int *space, int *full_space) + 1454 : 1160218 : void mptcp_space(const struct sock *ssk, int *space, int *full_space) 1455 : : { - 1456 : 1412714 : const struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); - 1457 : 1412714 : const struct sock *sk = subflow->conn; + 1456 : 1160218 : const struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); + 1457 : 1160218 : const struct sock *sk = subflow->conn; 1458 : : - 1459 : 1412714 : *space = __mptcp_space(sk); - 1460 : 1412714 : *full_space = mptcp_win_from_space(sk, READ_ONCE(sk->sk_rcvbuf)); - 1461 : 1412714 : } + 1459 : 1160218 : *space = __mptcp_space(sk); + 1460 : 1160218 : *full_space = mptcp_win_from_space(sk, READ_ONCE(sk->sk_rcvbuf)); + 1461 : 1160218 : } 1462 : : - 1463 : 1792 : static void subflow_error_report(struct sock *ssk) + 1463 : 1860 : static void subflow_error_report(struct sock *ssk) 1464 : : { - 1465 [ + + ]: 1792 : struct sock *sk = mptcp_subflow_ctx(ssk)->conn; + 1465 [ + + ]: 1860 : struct sock *sk = mptcp_subflow_ctx(ssk)->conn; 1466 : : 1467 : : /* bail early if this is a no-op, so that we avoid introducing a 1468 : : * problematic lockdep dependency between TCP accept queue lock 1469 : : * and msk socket spinlock 1470 : : */ - 1471 [ + + ]: 1792 : if (!sk->sk_socket) + 1471 [ + + ]: 1860 : if (!sk->sk_socket) 1472 : : return; 1473 : : - 1474 : 980 : mptcp_data_lock(sk); - 1475 [ + + ]: 980 : if (!sock_owned_by_user(sk)) - 1476 : 398 : __mptcp_error_report(sk); + 1474 : 963 : mptcp_data_lock(sk); + 1475 [ + + ]: 963 : if (!sock_owned_by_user(sk)) + 1476 : 362 : __mptcp_error_report(sk); 1477 : : else - 1478 [ - + ]: 582 : __set_bit(MPTCP_ERROR_REPORT, &mptcp_sk(sk)->cb_flags); - 1479 : 980 : mptcp_data_unlock(sk); + 1478 [ - + ]: 601 : __set_bit(MPTCP_ERROR_REPORT, &mptcp_sk(sk)->cb_flags); + 1479 : 963 : mptcp_data_unlock(sk); 1480 : : } 1481 : : - 1482 : 646728 : static void subflow_data_ready(struct sock *sk) + 1482 : 534553 : static void subflow_data_ready(struct sock *sk) 1483 : : { - 1484 : 646728 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); - 1485 [ - + ]: 646728 : u16 state = 1 << inet_sk_state_load(sk); - 1486 : 646728 : struct sock *parent = subflow->conn; - 1487 : 646728 : struct mptcp_sock *msk; + 1484 : 534553 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); + 1485 [ - + ]: 534553 : u16 state = 1 << inet_sk_state_load(sk); + 1486 : 534553 : struct sock *parent = subflow->conn; + 1487 : 534553 : struct mptcp_sock *msk; 1488 : : - 1489 : 646728 : trace_sk_data_ready(sk); + 1489 : 534553 : trace_sk_data_ready(sk); 1490 : : - 1491 [ - + ]: 646728 : msk = mptcp_sk(parent); - 1492 [ + + ]: 646728 : if (state & TCPF_LISTEN) { + 1491 [ - + ]: 534553 : msk = mptcp_sk(parent); + 1492 [ + + ]: 534553 : if (state & TCPF_LISTEN) { 1493 : : /* MPJ subflow are removed from accept queue before reaching here, 1494 : : * avoid stray wakeups 1495 : : */ - 1496 [ + + ]: 1761 : if (reqsk_queue_empty(&inet_csk(sk)->icsk_accept_queue)) + 1496 [ + + ]: 1762 : if (reqsk_queue_empty(&inet_csk(sk)->icsk_accept_queue)) 1497 : : return; 1498 : : 1499 : 1284 : parent->sk_data_ready(parent); 1500 : 1284 : return; 1501 : : } 1502 : : - 1503 [ + + - + : 644967 : WARN_ON_ONCE(!__mptcp_check_fallback(msk) && !subflow->mp_capable && + 1503 [ + + - + : 532791 : WARN_ON_ONCE(!__mptcp_check_fallback(msk) && !subflow->mp_capable && - - ] 1504 : : !subflow->mp_join && !(state & TCPF_CLOSE)); 1505 : : - 1506 [ + + ]: 644967 : if (mptcp_subflow_data_available(sk)) { - 1507 : 637504 : mptcp_data_ready(parent, sk); + 1506 [ + + ]: 532791 : if (mptcp_subflow_data_available(sk)) { + 1507 : 525523 : mptcp_data_ready(parent, sk); 1508 : : 1509 : : /* subflow-level lowat test are not relevant. 1510 : : * respect the msk-level threshold eventually mandating an immediate ack 1511 : : */ - 1512 [ + + ]: 637504 : if (mptcp_data_avail(msk) < parent->sk_rcvlowat && - 1513 [ - + - + : 79064 : (tcp_sk(sk)->rcv_nxt - tcp_sk(sk)->rcv_wup) > inet_csk(sk)->icsk_ack.rcv_mss) - + + ] - 1514 : 60623 : inet_csk(sk)->icsk_ack.pending |= ICSK_ACK_NOW; - 1515 [ + + ]: 7463 : } else if (unlikely(sk->sk_err)) { + 1512 [ + + ]: 525523 : if (mptcp_data_avail(msk) < parent->sk_rcvlowat && + 1513 [ - + - + : 75294 : (tcp_sk(sk)->rcv_nxt - tcp_sk(sk)->rcv_wup) > inet_csk(sk)->icsk_ack.rcv_mss) + + + ] + 1514 : 56826 : inet_csk(sk)->icsk_ack.pending |= ICSK_ACK_NOW; + 1515 [ + + ]: 7268 : } else if (unlikely(sk->sk_err)) { 1516 : 2 : subflow_error_report(sk); 1517 : : } 1518 : : } 1519 : : - 1520 : 410452 : static void subflow_write_space(struct sock *ssk) + 1520 : 321404 : static void subflow_write_space(struct sock *ssk) 1521 : : { - 1522 : 410452 : struct sock *sk = mptcp_subflow_ctx(ssk)->conn; + 1522 : 321404 : struct sock *sk = mptcp_subflow_ctx(ssk)->conn; 1523 : : - 1524 : 410452 : mptcp_propagate_sndbuf(sk, ssk); - 1525 : 410452 : mptcp_write_space(sk); - 1526 : 410452 : } + 1524 : 321404 : mptcp_propagate_sndbuf(sk, ssk); + 1525 : 321404 : mptcp_write_space(sk); + 1526 : 321404 : } 1527 : : 1528 : : static const struct inet_connection_sock_af_ops * 1529 : 0 : subflow_default_af_ops(struct sock *sk) @@ -1628,55 +1628,55 @@ 1536 : : } 1537 : : 1538 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) - 1539 : 722 : void mptcpv6_handle_mapped(struct sock *sk, bool mapped) + 1539 : 723 : void mptcpv6_handle_mapped(struct sock *sk, bool mapped) 1540 : : { - 1541 [ - + ]: 722 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); - 1542 : 722 : struct inet_connection_sock *icsk = inet_csk(sk); - 1543 : 722 : const struct inet_connection_sock_af_ops *target; + 1541 [ - + ]: 723 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); + 1542 : 723 : struct inet_connection_sock *icsk = inet_csk(sk); + 1543 : 723 : const struct inet_connection_sock_af_ops *target; 1544 : : - 1545 [ - + ]: 722 : target = mapped ? &subflow_v6m_specific : subflow_default_af_ops(sk); + 1545 [ - + ]: 723 : target = mapped ? &subflow_v6m_specific : subflow_default_af_ops(sk); 1546 : : - 1547 [ - + ]: 722 : pr_debug("subflow=%p family=%d ops=%p target=%p mapped=%d\n", + 1547 [ - + ]: 723 : pr_debug("subflow=%p family=%d ops=%p target=%p mapped=%d\n", 1548 : : subflow, sk->sk_family, icsk->icsk_af_ops, target, mapped); 1549 : : - 1550 [ + - ]: 722 : if (likely(icsk->icsk_af_ops == target)) + 1550 [ + - ]: 723 : if (likely(icsk->icsk_af_ops == target)) 1551 : : return; 1552 : : - 1553 : 722 : subflow->icsk_af_ops = icsk->icsk_af_ops; - 1554 : 722 : icsk->icsk_af_ops = target; + 1553 : 723 : subflow->icsk_af_ops = icsk->icsk_af_ops; + 1554 : 723 : icsk->icsk_af_ops = target; 1555 : : } 1556 : : #endif 1557 : : - 1558 : 1146 : void mptcp_info2sockaddr(const struct mptcp_addr_info *info, + 1558 : 1142 : void mptcp_info2sockaddr(const struct mptcp_addr_info *info, 1559 : : struct sockaddr_storage *addr, 1560 : : unsigned short family) 1561 : : { - 1562 : 1146 : memset(addr, 0, sizeof(*addr)); - 1563 : 1146 : addr->ss_family = family; - 1564 [ + + ]: 1146 : if (addr->ss_family == AF_INET) { - 1565 : 1026 : struct sockaddr_in *in_addr = (struct sockaddr_in *)addr; + 1562 : 1142 : memset(addr, 0, sizeof(*addr)); + 1563 : 1142 : addr->ss_family = family; + 1564 [ + + ]: 1142 : if (addr->ss_family == AF_INET) { + 1565 : 1024 : struct sockaddr_in *in_addr = (struct sockaddr_in *)addr; 1566 : : - 1567 [ + + ]: 1026 : if (info->family == AF_INET) + 1567 [ + + ]: 1024 : if (info->family == AF_INET) 1568 : 1006 : in_addr->sin_addr = info->addr; 1569 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) - 1570 [ + - ]: 20 : else if (ipv6_addr_v4mapped(&info->addr6)) - 1571 : 20 : in_addr->sin_addr.s_addr = info->addr6.s6_addr32[3]; + 1570 [ + - ]: 18 : else if (ipv6_addr_v4mapped(&info->addr6)) + 1571 : 18 : in_addr->sin_addr.s_addr = info->addr6.s6_addr32[3]; 1572 : : #endif - 1573 : 1026 : in_addr->sin_port = info->port; + 1573 : 1024 : in_addr->sin_port = info->port; 1574 : : } 1575 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) - 1576 [ + - ]: 120 : else if (addr->ss_family == AF_INET6) { - 1577 : 120 : struct sockaddr_in6 *in6_addr = (struct sockaddr_in6 *)addr; + 1576 [ + - ]: 118 : else if (addr->ss_family == AF_INET6) { + 1577 : 118 : struct sockaddr_in6 *in6_addr = (struct sockaddr_in6 *)addr; 1578 : : - 1579 [ + + ]: 120 : if (info->family == AF_INET) + 1579 [ + + ]: 118 : if (info->family == AF_INET) 1580 [ - + ]: 2 : ipv6_addr_set_v4mapped(info->addr.s_addr, 1581 : : &in6_addr->sin6_addr); 1582 : : else - 1583 : 118 : in6_addr->sin6_addr = info->addr6; - 1584 : 120 : in6_addr->sin6_port = info->port; + 1583 : 116 : in6_addr->sin6_addr = info->addr6; + 1584 : 118 : in6_addr->sin6_port = info->port; 1585 : : } 1586 : : #endif - 1587 : 1146 : } + 1587 : 1142 : } 1588 : : 1589 : 627 : int __mptcp_subflow_connect(struct sock *sk, const struct mptcp_pm_local *local, 1590 : : const struct mptcp_addr_info *remote) @@ -1697,81 +1697,81 @@ 1605 : 0 : goto err_out; 1606 : : 1607 : 627 : err = mptcp_subflow_create_socket(sk, local->addr.family, &sf); - 1608 [ + + ]: 627 : if (err) { - 1609 [ + - ]: 64 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_JOINSYNTXCREATSKERR); - 1610 [ - + ]: 64 : pr_debug("msk=%p local=%d remote=%d create sock error: %d\n", + 1608 [ + + ]: 627 : if (err) { + 1609 [ + - ]: 66 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_JOINSYNTXCREATSKERR); + 1610 [ - + ]: 66 : pr_debug("msk=%p local=%d remote=%d create sock error: %d\n", 1611 : : msk, local_id, remote_id, err); - 1612 : 64 : goto err_out; + 1612 : 66 : goto err_out; 1613 : : } 1614 : : - 1615 : 563 : ssk = sf->sk; - 1616 : 563 : subflow = mptcp_subflow_ctx(ssk); - 1617 : 563 : do { - 1618 : 563 : get_random_bytes(&subflow->local_nonce, sizeof(u32)); - 1619 [ - + ]: 563 : } while (!subflow->local_nonce); + 1615 : 561 : ssk = sf->sk; + 1616 : 561 : subflow = mptcp_subflow_ctx(ssk); + 1617 : 561 : do { + 1618 : 561 : get_random_bytes(&subflow->local_nonce, sizeof(u32)); + 1619 [ - + ]: 561 : } while (!subflow->local_nonce); 1620 : : 1621 : : /* if 'IPADDRANY', the ID will be set later, after the routing */ - 1622 [ + + ]: 563 : if (local->addr.family == AF_INET) { - 1623 [ + + ]: 503 : if (!local->addr.addr.s_addr) + 1622 [ + + ]: 561 : if (local->addr.family == AF_INET) { + 1623 [ + + ]: 502 : if (!local->addr.addr.s_addr) 1624 : : local_id = -1; 1625 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) - 1626 [ + + ]: 60 : } else if (sk->sk_family == AF_INET6) { - 1627 [ + + ]: 58 : if (ipv6_addr_any(&local->addr.addr6)) + 1626 [ + + ]: 59 : } else if (sk->sk_family == AF_INET6) { + 1627 [ + + ]: 57 : if (ipv6_addr_any(&local->addr.addr6)) 1628 : : local_id = -1; 1629 : : #endif 1630 : : } 1631 : : - 1632 : 318 : if (local_id >= 0) - 1633 : 318 : subflow_set_local_id(subflow, local_id); + 1632 : 316 : if (local_id >= 0) + 1633 : 316 : subflow_set_local_id(subflow, local_id); 1634 : : - 1635 : 563 : subflow->remote_key_valid = 1; - 1636 : 563 : subflow->remote_key = READ_ONCE(msk->remote_key); - 1637 : 563 : subflow->local_key = READ_ONCE(msk->local_key); - 1638 : 563 : subflow->token = msk->token; - 1639 : 563 : mptcp_info2sockaddr(&local->addr, &addr, ssk->sk_family); + 1635 : 561 : subflow->remote_key_valid = 1; + 1636 : 561 : subflow->remote_key = READ_ONCE(msk->remote_key); + 1637 : 561 : subflow->local_key = READ_ONCE(msk->local_key); + 1638 : 561 : subflow->token = msk->token; + 1639 : 561 : mptcp_info2sockaddr(&local->addr, &addr, ssk->sk_family); 1640 : : - 1641 : 563 : addrlen = sizeof(struct sockaddr_in); + 1641 : 561 : addrlen = sizeof(struct sockaddr_in); 1642 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) - 1643 [ + + ]: 563 : if (addr.ss_family == AF_INET6) - 1644 : 60 : addrlen = sizeof(struct sockaddr_in6); + 1643 [ + + ]: 561 : if (addr.ss_family == AF_INET6) + 1644 : 59 : addrlen = sizeof(struct sockaddr_in6); 1645 : : #endif - 1646 : 563 : ssk->sk_bound_dev_if = local->ifindex; - 1647 : 563 : err = kernel_bind(sf, (struct sockaddr *)&addr, addrlen); - 1648 [ + + ]: 563 : if (err) { + 1646 : 561 : ssk->sk_bound_dev_if = local->ifindex; + 1647 : 561 : err = kernel_bind(sf, (struct sockaddr *)&addr, addrlen); + 1648 [ + + ]: 561 : if (err) { 1649 [ + - ]: 2 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_JOINSYNTXBINDERR); 1650 [ - + ]: 2 : pr_debug("msk=%p local=%d remote=%d bind error: %d\n", 1651 : : msk, local_id, remote_id, err); 1652 : 2 : goto failed; 1653 : : } 1654 : : - 1655 : 561 : mptcp_crypto_key_sha(subflow->remote_key, &remote_token, NULL); - 1656 [ - + ]: 561 : pr_debug("msk=%p remote_token=%u local_id=%d remote_id=%d\n", msk, + 1655 : 559 : mptcp_crypto_key_sha(subflow->remote_key, &remote_token, NULL); + 1656 [ - + ]: 559 : pr_debug("msk=%p remote_token=%u local_id=%d remote_id=%d\n", msk, 1657 : : remote_token, local_id, remote_id); - 1658 : 561 : subflow->remote_token = remote_token; - 1659 : 561 : WRITE_ONCE(subflow->remote_id, remote_id); - 1660 : 561 : subflow->request_join = 1; - 1661 : 561 : subflow->request_bkup = !!(local->flags & MPTCP_PM_ADDR_FLAG_BACKUP); - 1662 : 561 : subflow->subflow_id = msk->subflow_id++; - 1663 : 561 : mptcp_info2sockaddr(remote, &addr, ssk->sk_family); + 1658 : 559 : subflow->remote_token = remote_token; + 1659 : 559 : WRITE_ONCE(subflow->remote_id, remote_id); + 1660 : 559 : subflow->request_join = 1; + 1661 : 559 : subflow->request_bkup = !!(local->flags & MPTCP_PM_ADDR_FLAG_BACKUP); + 1662 : 559 : subflow->subflow_id = msk->subflow_id++; + 1663 : 559 : mptcp_info2sockaddr(remote, &addr, ssk->sk_family); 1664 : : - 1665 : 561 : sock_hold(ssk); - 1666 : 561 : list_add_tail(&subflow->node, &msk->conn_list); - 1667 : 561 : err = kernel_connect(sf, (struct sockaddr *)&addr, addrlen, O_NONBLOCK); - 1668 [ + + ]: 561 : if (err && err != -EINPROGRESS) { + 1665 : 559 : sock_hold(ssk); + 1666 : 559 : list_add_tail(&subflow->node, &msk->conn_list); + 1667 : 559 : err = kernel_connect(sf, (struct sockaddr *)&addr, addrlen, O_NONBLOCK); + 1668 [ + + ]: 559 : if (err && err != -EINPROGRESS) { 1669 [ + - ]: 26 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_JOINSYNTXCONNECTERR); 1670 [ - + ]: 26 : pr_debug("msk=%p local=%d remote=%d connect error: %d\n", 1671 : : msk, local_id, remote_id, err); 1672 : 26 : goto failed_unlink; 1673 : : } 1674 : : - 1675 [ + - ]: 535 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_JOINSYNTX); + 1675 [ + - ]: 533 : MPTCP_INC_STATS(sock_net(sk), MPTCP_MIB_JOINSYNTX); 1676 : : 1677 : : /* discard the subflow socket */ - 1678 : 535 : mptcp_sock_graft(ssk, sk->sk_socket); - 1679 : 535 : iput(SOCK_INODE(sf)); - 1680 : 535 : WRITE_ONCE(msk->allow_infinite_fallback, false); - 1681 : 535 : mptcp_stop_tout_timer(sk); - 1682 : 535 : return 0; + 1678 : 533 : mptcp_sock_graft(ssk, sk->sk_socket); + 1679 : 533 : iput(SOCK_INODE(sf)); + 1680 : 533 : WRITE_ONCE(msk->allow_infinite_fallback, false); + 1681 : 533 : mptcp_stop_tout_timer(sk); + 1682 : 533 : return 0; 1683 : : 1684 : 0 : failed_unlink: 1685 : 26 : list_del(&subflow->node); @@ -1781,22 +1781,22 @@ 1689 : 28 : subflow->disposable = 1; 1690 : 28 : sock_release(sf); 1691 : : - 1692 : 92 : err_out: + 1692 : 94 : err_out: 1693 : : /* we account subflows before the creation, and this failures will not 1694 : : * be caught by sk_state_change() 1695 : : */ - 1696 : 92 : mptcp_pm_close_subflow(msk); - 1697 : 92 : return err; + 1696 : 94 : mptcp_pm_close_subflow(msk); + 1697 : 94 : return err; 1698 : : } 1699 : : - 1700 : 3069 : static void mptcp_attach_cgroup(struct sock *parent, struct sock *child) + 1700 : 3067 : static void mptcp_attach_cgroup(struct sock *parent, struct sock *child) 1701 : : { 1702 : : #ifdef CONFIG_SOCK_CGROUP_DATA - 1703 : 3069 : struct sock_cgroup_data *parent_skcd = &parent->sk_cgrp_data, - 1704 : 3069 : *child_skcd = &child->sk_cgrp_data; + 1703 : 3067 : struct sock_cgroup_data *parent_skcd = &parent->sk_cgrp_data, + 1704 : 3067 : *child_skcd = &child->sk_cgrp_data; 1705 : : 1706 : : /* only the additional subflows created by kworkers have to be modified */ - 1707 [ + + ]: 3069 : if (cgroup_id(sock_cgroup_ptr(parent_skcd)) != + 1707 [ + + ]: 3067 : if (cgroup_id(sock_cgroup_ptr(parent_skcd)) != 1708 [ + + ]: 186 : cgroup_id(sock_cgroup_ptr(child_skcd))) { 1709 : : #ifdef CONFIG_MEMCG 1710 : : struct mem_cgroup *memcg = parent->sk_memcg; @@ -1811,26 +1811,26 @@ 1719 : 60 : cgroup_sk_clone(child_skcd); 1720 : : } 1721 : : #endif /* CONFIG_SOCK_CGROUP_DATA */ - 1722 : 3069 : } + 1722 : 3067 : } 1723 : : 1724 : 186 : static void mptcp_subflow_ops_override(struct sock *ssk) 1725 : : { 1726 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) - 1727 : 3069 : if (ssk->sk_prot == &tcpv6_prot) - 1728 : 930 : ssk->sk_prot = &tcpv6_prot_override; + 1727 : 3067 : if (ssk->sk_prot == &tcpv6_prot) + 1728 : 929 : ssk->sk_prot = &tcpv6_prot_override; 1729 : : else 1730 : : #endif - 1731 : 2139 : ssk->sk_prot = &tcp_prot_override; + 1731 : 2138 : ssk->sk_prot = &tcp_prot_override; 1732 : : } 1733 : : 1734 : 312 : static void mptcp_subflow_ops_undo_override(struct sock *ssk) 1735 : : { 1736 : : #if IS_ENABLED(CONFIG_MPTCP_IPV6) - 1737 [ + + ]: 144 : if (ssk->sk_prot == &tcpv6_prot_override) + 1737 [ + + ]: 145 : if (ssk->sk_prot == &tcpv6_prot_override) 1738 : 1797 : ssk->sk_prot = &tcpv6_prot; 1739 : : else 1740 : : #endif - 1741 : 2926 : ssk->sk_prot = &tcp_prot; + 1741 : 2925 : ssk->sk_prot = &tcp_prot; 1742 : : } 1743 : : 1744 : 3133 : int mptcp_subflow_create_socket(struct sock *sk, unsigned short family, @@ -1844,36 +1844,36 @@ 1752 : : /* un-accepted server sockets can reach here - on bad configuration 1753 : : * bail early to avoid greater trouble later 1754 : : */ - 1755 [ + + ]: 3133 : if (unlikely(!sk->sk_socket)) + 1755 [ + + ]: 3133 : if (unlikely(!sk->sk_socket)) 1756 : : return -EINVAL; 1757 : : - 1758 : 3069 : err = sock_create_kern(net, family, SOCK_STREAM, IPPROTO_TCP, &sf); - 1759 [ + - ]: 3069 : if (err) + 1758 : 3067 : err = sock_create_kern(net, family, SOCK_STREAM, IPPROTO_TCP, &sf); + 1759 [ + - ]: 3067 : if (err) 1760 : : return err; 1761 : : - 1762 : 3069 : lock_sock_nested(sf->sk, SINGLE_DEPTH_NESTING); + 1762 : 3067 : lock_sock_nested(sf->sk, SINGLE_DEPTH_NESTING); 1763 : : - 1764 : 3069 : err = security_mptcp_add_subflow(sk, sf->sk); - 1765 [ - + ]: 3069 : if (err) + 1764 : 3067 : err = security_mptcp_add_subflow(sk, sf->sk); + 1765 [ - + ]: 3067 : if (err) 1766 : 0 : goto err_free; 1767 : : 1768 : : /* the newly created socket has to be in the same cgroup as its parent */ - 1769 : 3069 : mptcp_attach_cgroup(sk, sf->sk); + 1769 : 3067 : mptcp_attach_cgroup(sk, sf->sk); 1770 : : 1771 : : /* kernel sockets do not by default acquire net ref, but TCP timer 1772 : : * needs it. 1773 : : * Update ns_tracker to current stack trace and refcounted tracker. 1774 : : */ - 1775 : 3069 : __netns_tracker_free(net, &sf->sk->ns_tracker, false); - 1776 : 3069 : sf->sk->sk_net_refcnt = 1; - 1777 : 3069 : get_net_track(net, &sf->sk->ns_tracker, GFP_KERNEL); - 1778 : 3069 : sock_inuse_add(net, 1); - 1779 : 3069 : err = tcp_set_ulp(sf->sk, "mptcp"); - 1780 [ - + ]: 3069 : if (err) + 1775 : 3067 : __netns_tracker_free(net, &sf->sk->ns_tracker, false); + 1776 : 3067 : sf->sk->sk_net_refcnt = 1; + 1777 : 3067 : get_net_track(net, &sf->sk->ns_tracker, GFP_KERNEL); + 1778 : 3067 : sock_inuse_add(net, 1); + 1779 : 3067 : err = tcp_set_ulp(sf->sk, "mptcp"); + 1780 [ - + ]: 3067 : if (err) 1781 : 0 : goto err_free; 1782 : : - 1783 [ - + ]: 3069 : mptcp_sockopt_sync_locked(mptcp_sk(sk), sf->sk); - 1784 : 3069 : release_sock(sf->sk); + 1783 [ - + ]: 3067 : mptcp_sockopt_sync_locked(mptcp_sk(sk), sf->sk); + 1784 : 3067 : release_sock(sf->sk); 1785 : : 1786 : : /* the newly created socket really belongs to the owning MPTCP 1787 : : * socket, even if for additional subflows the allocation is performed @@ -1881,17 +1881,17 @@ 1789 : : * procfs/diag interfaces really show this one belonging to the correct 1790 : : * user. 1791 : : */ - 1792 [ - + ]: 3069 : SOCK_INODE(sf)->i_ino = SOCK_INODE(sk->sk_socket)->i_ino; - 1793 : 3069 : SOCK_INODE(sf)->i_uid = SOCK_INODE(sk->sk_socket)->i_uid; - 1794 : 3069 : SOCK_INODE(sf)->i_gid = SOCK_INODE(sk->sk_socket)->i_gid; + 1792 [ - + ]: 3067 : SOCK_INODE(sf)->i_ino = SOCK_INODE(sk->sk_socket)->i_ino; + 1793 : 3067 : SOCK_INODE(sf)->i_uid = SOCK_INODE(sk->sk_socket)->i_uid; + 1794 : 3067 : SOCK_INODE(sf)->i_gid = SOCK_INODE(sk->sk_socket)->i_gid; 1795 : : - 1796 [ - + ]: 3069 : subflow = mptcp_subflow_ctx(sf->sk); - 1797 [ - + ]: 3069 : pr_debug("subflow=%p\n", subflow); + 1796 [ - + ]: 3067 : subflow = mptcp_subflow_ctx(sf->sk); + 1797 [ - + ]: 3067 : pr_debug("subflow=%p\n", subflow); 1798 : : - 1799 : 3069 : *new_sock = sf; - 1800 : 3069 : sock_hold(sk); - 1801 : 3069 : subflow->conn = sk; - 1802 [ + + ]: 3069 : mptcp_subflow_ops_override(sf->sk); + 1799 : 3067 : *new_sock = sf; + 1800 : 3067 : sock_hold(sk); + 1801 : 3067 : subflow->conn = sk; + 1802 [ + + ]: 3067 : mptcp_subflow_ops_override(sf->sk); 1803 : : 1804 : : return 0; 1805 : : @@ -1901,56 +1901,56 @@ 1809 : 0 : return err; 1810 : : } 1811 : : - 1812 : 4762 : static struct mptcp_subflow_context *subflow_create_ctx(struct sock *sk, + 1812 : 4760 : static struct mptcp_subflow_context *subflow_create_ctx(struct sock *sk, 1813 : : gfp_t priority) 1814 : : { - 1815 : 4762 : struct inet_connection_sock *icsk = inet_csk(sk); - 1816 : 4762 : struct mptcp_subflow_context *ctx; + 1815 : 4760 : struct inet_connection_sock *icsk = inet_csk(sk); + 1816 : 4760 : struct mptcp_subflow_context *ctx; 1817 : : - 1818 : 4762 : ctx = kzalloc(sizeof(*ctx), priority); - 1819 [ + - ]: 4762 : if (!ctx) + 1818 : 4760 : ctx = kzalloc(sizeof(*ctx), priority); + 1819 [ + - ]: 4760 : if (!ctx) 1820 : : return NULL; 1821 : : - 1822 : 4762 : rcu_assign_pointer(icsk->icsk_ulp_data, ctx); - 1823 [ - + ]: 4762 : INIT_LIST_HEAD(&ctx->node); - 1824 : 4762 : INIT_LIST_HEAD(&ctx->delegated_node); + 1822 : 4760 : rcu_assign_pointer(icsk->icsk_ulp_data, ctx); + 1823 [ - + ]: 4760 : INIT_LIST_HEAD(&ctx->node); + 1824 : 4760 : INIT_LIST_HEAD(&ctx->delegated_node); 1825 : : - 1826 [ - + ]: 4762 : pr_debug("subflow=%p\n", ctx); + 1826 [ - + ]: 4760 : pr_debug("subflow=%p\n", ctx); 1827 : : - 1828 : 4762 : ctx->tcp_sock = sk; - 1829 : 4762 : WRITE_ONCE(ctx->local_id, -1); + 1828 : 4760 : ctx->tcp_sock = sk; + 1829 : 4760 : WRITE_ONCE(ctx->local_id, -1); 1830 : : - 1831 : 4762 : return ctx; + 1831 : 4760 : return ctx; 1832 : : } 1833 : : - 1834 : 4985 : static void __subflow_state_change(struct sock *sk) + 1834 : 4957 : static void __subflow_state_change(struct sock *sk) 1835 : : { - 1836 : 4985 : struct socket_wq *wq; + 1836 : 4957 : struct socket_wq *wq; 1837 : : - 1838 : 4985 : rcu_read_lock(); - 1839 [ + - - + : 4985 : wq = rcu_dereference(sk->sk_wq); + 1838 : 4957 : rcu_read_lock(); + 1839 [ + - - + : 4957 : wq = rcu_dereference(sk->sk_wq); - - - - - - ] - 1840 [ + + ]: 4985 : if (skwq_has_sleeper(wq)) - 1841 : 335 : wake_up_interruptible_all(&wq->wait); - 1842 : 4985 : rcu_read_unlock(); - 1843 : 4985 : } + 1840 [ + + ]: 4957 : if (skwq_has_sleeper(wq)) + 1841 : 342 : wake_up_interruptible_all(&wq->wait); + 1842 : 4957 : rcu_read_unlock(); + 1843 : 4957 : } 1844 : : 1845 : 0 : static bool subflow_is_done(const struct sock *sk) 1846 : : { - 1847 [ + + - + ]: 247 : return sk->sk_shutdown & RCV_SHUTDOWN || sk->sk_state == TCP_CLOSE; + 1847 [ + + - + ]: 259 : return sk->sk_shutdown & RCV_SHUTDOWN || sk->sk_state == TCP_CLOSE; 1848 : : } 1849 : : - 1850 : 4985 : static void subflow_state_change(struct sock *sk) + 1850 : 4957 : static void subflow_state_change(struct sock *sk) 1851 : : { - 1852 : 4985 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); - 1853 : 4985 : struct sock *parent = subflow->conn; - 1854 : 4985 : struct mptcp_sock *msk; + 1852 : 4957 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(sk); + 1853 : 4957 : struct sock *parent = subflow->conn; + 1854 : 4957 : struct mptcp_sock *msk; 1855 : : - 1856 : 4985 : __subflow_state_change(sk); + 1856 : 4957 : __subflow_state_change(sk); 1857 : : - 1858 [ - + ]: 4985 : msk = mptcp_sk(parent); - 1859 [ - + ]: 4985 : if (subflow_simultaneous_connect(sk)) { + 1858 [ - + ]: 4957 : msk = mptcp_sk(parent); + 1859 [ - + ]: 4957 : if (subflow_simultaneous_connect(sk)) { 1860 : 0 : mptcp_do_fallback(sk); 1861 [ # # ]: 0 : pr_fallback(msk); 1862 : 0 : subflow->conn_finished = 1; @@ -1961,54 +1961,54 @@ 1867 : : * a fin packet carrying a DSS can be unnoticed if we don't trigger 1868 : : * the data available machinery here. 1869 : : */ - 1870 [ + + ]: 4985 : if (mptcp_subflow_data_available(sk)) + 1870 [ + + ]: 4957 : if (mptcp_subflow_data_available(sk)) 1871 : 64 : mptcp_data_ready(parent, sk); - 1872 [ + + ]: 4921 : else if (unlikely(sk->sk_err)) - 1873 : 463 : subflow_error_report(sk); + 1872 [ + + ]: 4893 : else if (unlikely(sk->sk_err)) + 1873 : 479 : subflow_error_report(sk); 1874 : : - 1875 [ - + ]: 4985 : subflow_sched_work_if_closed(mptcp_sk(parent), sk); + 1875 [ - + ]: 4957 : subflow_sched_work_if_closed(mptcp_sk(parent), sk); 1876 : : 1877 : : /* when the fallback subflow closes the rx side, trigger a 'dummy' 1878 : : * ingress data fin, so that the msk state will follow along 1879 : : */ - 1880 [ + + + - : 5225 : if (__mptcp_check_fallback(msk) && subflow_is_done(sk) && msk->first == sk && - + + ] - 1881 : 120 : mptcp_update_rcv_data_fin(msk, READ_ONCE(msk->ack_seq), true)) - 1882 : 77 : mptcp_schedule_work(parent); - 1883 : 4985 : } + 1880 [ + + + - : 5209 : if (__mptcp_check_fallback(msk) && subflow_is_done(sk) && msk->first == sk && + + + ] + 1881 : 126 : mptcp_update_rcv_data_fin(msk, READ_ONCE(msk->ack_seq), true)) + 1882 : 75 : mptcp_schedule_work(parent); + 1883 : 4957 : } 1884 : : - 1885 : 1248 : void mptcp_subflow_queue_clean(struct sock *listener_sk, struct sock *listener_ssk) + 1885 : 1249 : void mptcp_subflow_queue_clean(struct sock *listener_sk, struct sock *listener_ssk) 1886 : : { - 1887 : 1248 : struct request_sock_queue *queue = &inet_csk(listener_ssk)->icsk_accept_queue; - 1888 : 1248 : struct request_sock *req, *head, *tail; - 1889 : 1248 : struct mptcp_subflow_context *subflow; - 1890 : 1248 : struct sock *sk, *ssk; + 1887 : 1249 : struct request_sock_queue *queue = &inet_csk(listener_ssk)->icsk_accept_queue; + 1888 : 1249 : struct request_sock *req, *head, *tail; + 1889 : 1249 : struct mptcp_subflow_context *subflow; + 1890 : 1249 : struct sock *sk, *ssk; 1891 : : 1892 : : /* Due to lock dependencies no relevant lock can be acquired under rskq_lock. 1893 : : * Splice the req list, so that accept() can not reach the pending ssk after 1894 : : * the listener socket is released below. 1895 : : */ - 1896 : 1248 : spin_lock_bh(&queue->rskq_lock); - 1897 : 1248 : head = queue->rskq_accept_head; - 1898 : 1248 : tail = queue->rskq_accept_tail; - 1899 : 1248 : queue->rskq_accept_head = NULL; - 1900 : 1248 : queue->rskq_accept_tail = NULL; - 1901 : 1248 : spin_unlock_bh(&queue->rskq_lock); + 1896 : 1249 : spin_lock_bh(&queue->rskq_lock); + 1897 : 1249 : head = queue->rskq_accept_head; + 1898 : 1249 : tail = queue->rskq_accept_tail; + 1899 : 1249 : queue->rskq_accept_head = NULL; + 1900 : 1249 : queue->rskq_accept_tail = NULL; + 1901 : 1249 : spin_unlock_bh(&queue->rskq_lock); 1902 : : - 1903 [ + + ]: 1248 : if (!head) + 1903 [ + + ]: 1249 : if (!head) 1904 : : return; 1905 : : 1906 : : /* can't acquire the msk socket lock under the subflow one, 1907 : : * or will cause ABBA deadlock 1908 : : */ - 1909 : 42 : release_sock(listener_ssk); + 1909 : 43 : release_sock(listener_ssk); 1910 : : - 1911 [ + + ]: 126 : for (req = head; req; req = req->dl_next) { - 1912 : 42 : ssk = req->sk; - 1913 [ - + - + ]: 42 : if (!sk_is_mptcp(ssk)) - 1914 : 0 : continue; + 1911 [ + + ]: 129 : for (req = head; req; req = req->dl_next) { + 1912 : 43 : ssk = req->sk; + 1913 [ + + - + ]: 43 : if (!sk_is_mptcp(ssk)) + 1914 : 1 : continue; 1915 : : - 1916 [ + - ]: 42 : subflow = mptcp_subflow_ctx(ssk); + 1916 [ + - ]: 42 : subflow = mptcp_subflow_ctx(ssk); 1917 [ + - - + ]: 42 : if (!subflow || !subflow->conn) 1918 : 0 : continue; 1919 : : @@ -2038,72 +2038,72 @@ 1943 : : } 1944 : : 1945 : : /* we are still under the listener msk socket lock */ - 1946 : 42 : lock_sock_nested(listener_ssk, SINGLE_DEPTH_NESTING); + 1946 : 43 : lock_sock_nested(listener_ssk, SINGLE_DEPTH_NESTING); 1947 : : 1948 : : /* restore the listener queue, to let the TCP code clean it up */ - 1949 : 42 : spin_lock_bh(&queue->rskq_lock); - 1950 [ - + ]: 42 : WARN_ON_ONCE(queue->rskq_accept_head); - 1951 : 42 : queue->rskq_accept_head = head; - 1952 : 42 : queue->rskq_accept_tail = tail; - 1953 : 42 : spin_unlock_bh(&queue->rskq_lock); + 1949 : 43 : spin_lock_bh(&queue->rskq_lock); + 1950 [ - + ]: 43 : WARN_ON_ONCE(queue->rskq_accept_head); + 1951 : 43 : queue->rskq_accept_head = head; + 1952 : 43 : queue->rskq_accept_tail = tail; + 1953 : 43 : spin_unlock_bh(&queue->rskq_lock); 1954 : : } 1955 : : - 1956 : 3381 : static int subflow_ulp_init(struct sock *sk) + 1956 : 3379 : static int subflow_ulp_init(struct sock *sk) 1957 : : { - 1958 : 3381 : struct inet_connection_sock *icsk = inet_csk(sk); - 1959 : 3381 : struct mptcp_subflow_context *ctx; - 1960 [ - + ]: 3381 : struct tcp_sock *tp = tcp_sk(sk); - 1961 : 3381 : int err = 0; + 1958 : 3379 : struct inet_connection_sock *icsk = inet_csk(sk); + 1959 : 3379 : struct mptcp_subflow_context *ctx; + 1960 [ - + ]: 3379 : struct tcp_sock *tp = tcp_sk(sk); + 1961 : 3379 : int err = 0; 1962 : : 1963 : : /* disallow attaching ULP to a socket unless it has been 1964 : : * created with sock_create_kern() 1965 : : */ - 1966 [ + + ]: 3381 : if (!sk->sk_kern_sock) { + 1966 [ + + ]: 3379 : if (!sk->sk_kern_sock) { 1967 : 312 : err = -EOPNOTSUPP; 1968 : 312 : goto out; 1969 : : } 1970 : : - 1971 : 3069 : ctx = subflow_create_ctx(sk, GFP_KERNEL); - 1972 [ - + ]: 3069 : if (!ctx) { + 1971 : 3067 : ctx = subflow_create_ctx(sk, GFP_KERNEL); + 1972 [ - + ]: 3067 : if (!ctx) { 1973 : 0 : err = -ENOMEM; 1974 : 0 : goto out; 1975 : : } 1976 : : - 1977 [ - + ]: 3069 : pr_debug("subflow=%p, family=%d\n", ctx, sk->sk_family); + 1977 [ - + ]: 3067 : pr_debug("subflow=%p, family=%d\n", ctx, sk->sk_family); 1978 : : - 1979 : 3069 : tp->is_mptcp = 1; - 1980 : 3069 : ctx->icsk_af_ops = icsk->icsk_af_ops; - 1981 [ + + ]: 3069 : icsk->icsk_af_ops = subflow_default_af_ops(sk); - 1982 : 3069 : ctx->tcp_state_change = sk->sk_state_change; - 1983 : 3069 : ctx->tcp_error_report = sk->sk_error_report; + 1979 : 3067 : tp->is_mptcp = 1; + 1980 : 3067 : ctx->icsk_af_ops = icsk->icsk_af_ops; + 1981 [ + + ]: 3067 : icsk->icsk_af_ops = subflow_default_af_ops(sk); + 1982 : 3067 : ctx->tcp_state_change = sk->sk_state_change; + 1983 : 3067 : ctx->tcp_error_report = sk->sk_error_report; 1984 : : - 1985 [ - + ]: 3069 : WARN_ON_ONCE(sk->sk_data_ready != sock_def_readable); - 1986 [ - + ]: 3069 : WARN_ON_ONCE(sk->sk_write_space != sk_stream_write_space); + 1985 [ - + ]: 3067 : WARN_ON_ONCE(sk->sk_data_ready != sock_def_readable); + 1986 [ - + ]: 3067 : WARN_ON_ONCE(sk->sk_write_space != sk_stream_write_space); 1987 : : - 1988 : 3069 : sk->sk_data_ready = subflow_data_ready; - 1989 : 3069 : sk->sk_write_space = subflow_write_space; - 1990 : 3069 : sk->sk_state_change = subflow_state_change; - 1991 : 3069 : sk->sk_error_report = subflow_error_report; - 1992 : 3381 : out: - 1993 : 3381 : return err; + 1988 : 3067 : sk->sk_data_ready = subflow_data_ready; + 1989 : 3067 : sk->sk_write_space = subflow_write_space; + 1990 : 3067 : sk->sk_state_change = subflow_state_change; + 1991 : 3067 : sk->sk_error_report = subflow_error_report; + 1992 : 3379 : out: + 1993 : 3379 : return err; 1994 : : } 1995 : : - 1996 : 4587 : static void subflow_ulp_release(struct sock *ssk) + 1996 : 4585 : static void subflow_ulp_release(struct sock *ssk) 1997 : : { - 1998 [ + - ]: 4587 : struct mptcp_subflow_context *ctx = mptcp_subflow_ctx(ssk); - 1999 : 4587 : bool release = true; - 2000 : 4587 : struct sock *sk; + 1998 [ + - ]: 4585 : struct mptcp_subflow_context *ctx = mptcp_subflow_ctx(ssk); + 1999 : 4585 : bool release = true; + 2000 : 4585 : struct sock *sk; 2001 : : - 2002 [ + - ]: 4587 : if (!ctx) + 2002 [ + - ]: 4585 : if (!ctx) 2003 : : return; 2004 : : - 2005 : 4587 : sk = ctx->conn; - 2006 [ + - ]: 4587 : if (sk) { + 2005 : 4585 : sk = ctx->conn; + 2006 [ + - ]: 4585 : if (sk) { 2007 : : /* if the msk has been orphaned, keep the ctx 2008 : : * alive, will be freed by __mptcp_close_ssk(), 2009 : : * when the subflow is still unaccepted 2010 : : */ - 2011 [ - + - - ]: 4587 : release = ctx->disposable || list_empty(&ctx->node); + 2011 [ - + - - ]: 4585 : release = ctx->disposable || list_empty(&ctx->node); 2012 : : 2013 : : /* inet_child_forget() does not call sk_state_change(), 2014 : : * explicitly trigger the socket close machinery @@ -2111,26 +2111,26 @@ 2016 [ # # ]: 0 : if (!release && !test_and_set_bit(MPTCP_WORK_CLOSE_SUBFLOW, 2017 [ # # ]: 0 : &mptcp_sk(sk)->flags)) 2018 : 0 : mptcp_schedule_work(sk); - 2019 : 4587 : sock_put(sk); + 2019 : 4585 : sock_put(sk); 2020 : : } 2021 : : - 2022 [ + + ]: 4587 : mptcp_subflow_ops_undo_override(ssk); - 2023 [ + - ]: 4587 : if (release) - 2024 : 4587 : kfree_rcu(ctx, rcu); + 2022 [ + + ]: 4585 : mptcp_subflow_ops_undo_override(ssk); + 2023 [ + - ]: 4585 : if (release) + 2024 : 4585 : kfree_rcu(ctx, rcu); 2025 : : } 2026 : : - 2027 : 1769 : static void subflow_ulp_clone(const struct request_sock *req, + 2027 : 1770 : static void subflow_ulp_clone(const struct request_sock *req, 2028 : : struct sock *newsk, 2029 : : const gfp_t priority) 2030 : : { - 2031 : 1769 : struct mptcp_subflow_request_sock *subflow_req = mptcp_subflow_rsk(req); - 2032 [ + + ]: 1769 : struct mptcp_subflow_context *old_ctx = mptcp_subflow_ctx(newsk); - 2033 : 1769 : struct mptcp_subflow_context *new_ctx; + 2031 : 1770 : struct mptcp_subflow_request_sock *subflow_req = mptcp_subflow_rsk(req); + 2032 [ + + ]: 1770 : struct mptcp_subflow_context *old_ctx = mptcp_subflow_ctx(newsk); + 2033 : 1770 : struct mptcp_subflow_context *new_ctx; 2034 : : - 2035 [ + + + - ]: 1769 : if (!tcp_rsk(req)->is_mptcp || - 2036 [ + + ]: 1769 : (!subflow_req->mp_capable && !subflow_req->mp_join)) { - 2037 : 76 : subflow_ulp_fallback(newsk, old_ctx); - 2038 : 76 : return; + 2035 [ + + + - ]: 1770 : if (!tcp_rsk(req)->is_mptcp || + 2036 [ + + ]: 1770 : (!subflow_req->mp_capable && !subflow_req->mp_join)) { + 2037 : 77 : subflow_ulp_fallback(newsk, old_ctx); + 2038 : 77 : return; 2039 : : } 2040 : : 2041 : 1693 : new_ctx = subflow_create_ctx(newsk, priority); @@ -2175,21 +2175,21 @@ 2080 : : } 2081 : : } 2082 : : - 2083 : 577043 : static void tcp_release_cb_override(struct sock *ssk) + 2083 : 530853 : static void tcp_release_cb_override(struct sock *ssk) 2084 : : { - 2085 : 577043 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); - 2086 : 577043 : long status; + 2085 : 530853 : struct mptcp_subflow_context *subflow = mptcp_subflow_ctx(ssk); + 2086 : 530853 : long status; 2087 : : 2088 : : /* process and clear all the pending actions, but leave the subflow into 2089 : : * the napi queue. To respect locking, only the same CPU that originated 2090 : : * the action can touch the list. mptcp_napi_poll will take care of it. 2091 : : */ - 2092 [ - + - + ]: 577043 : status = set_mask_bits(&subflow->delegated_status, MPTCP_DELEGATE_ACTIONS_MASK, 0); - 2093 [ + + ]: 577043 : if (status) - 2094 : 2948 : mptcp_subflow_process_delegated(ssk, status); + 2092 [ - + - + ]: 530853 : status = set_mask_bits(&subflow->delegated_status, MPTCP_DELEGATE_ACTIONS_MASK, 0); + 2093 [ + + ]: 530853 : if (status) + 2094 : 2231 : mptcp_subflow_process_delegated(ssk, status); 2095 : : - 2096 : 577043 : tcp_release_cb(ssk); - 2097 : 577043 : } + 2096 : 530853 : tcp_release_cb(ssk); + 2097 : 530853 : } 2098 : : 2099 : 0 : static int tcp_abort_override(struct sock *ssk, int err) 2100 : : { diff --git a/html/lcov/export/mptcp/syncookies.c.func-c.html b/html/lcov/export/mptcp/syncookies.c.func-c.html index 478e8d13..c7871b79 100644 --- a/html/lcov/export/mptcp/syncookies.c.func-c.html +++ b/html/lcov/export/mptcp/syncookies.c.func-c.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % diff --git a/html/lcov/export/mptcp/syncookies.c.func.html b/html/lcov/export/mptcp/syncookies.c.func.html index 30806ccb..7b740695 100644 --- a/html/lcov/export/mptcp/syncookies.c.func.html +++ b/html/lcov/export/mptcp/syncookies.c.func.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % diff --git a/html/lcov/export/mptcp/syncookies.c.gcov.html b/html/lcov/export/mptcp/syncookies.c.gcov.html index 8c3580b5..cd3ce204 100644 --- a/html/lcov/export/mptcp/syncookies.c.gcov.html +++ b/html/lcov/export/mptcp/syncookies.c.gcov.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % diff --git a/html/lcov/export/mptcp/token.c.func-c.html b/html/lcov/export/mptcp/token.c.func-c.html index 897f5884..92920f5d 100644 --- a/html/lcov/export/mptcp/token.c.func-c.html +++ b/html/lcov/export/mptcp/token.c.func-c.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -130,7 +130,7 @@ mptcp_token_destroy_request - 1837 + 1838 @@ -144,7 +144,7 @@ mptcp_token_destroy - 3873 + 3884 @@ -158,7 +158,7 @@ mptcp_token_iter_next - 5500 + 5486 diff --git a/html/lcov/export/mptcp/token.c.func.html b/html/lcov/export/mptcp/token.c.func.html index f2f634c2..46c1d4a7 100644 --- a/html/lcov/export/mptcp/token.c.func.html +++ b/html/lcov/export/mptcp/token.c.func.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -109,14 +109,14 @@ mptcp_token_destroy - 3873 + 3884 mptcp_token_destroy_request - 1837 + 1838 @@ -144,7 +144,7 @@ mptcp_token_iter_next - 5500 + 5486 diff --git a/html/lcov/export/mptcp/token.c.gcov.html b/html/lcov/export/mptcp/token.c.gcov.html index 4d642298..09acd792 100644 --- a/html/lcov/export/mptcp/token.c.gcov.html +++ b/html/lcov/export/mptcp/token.c.gcov.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % @@ -150,8 +150,8 @@ 70 : 4816 : struct hlist_nulls_node *pos; 71 : 4816 : struct sock *sk; 72 : : - 73 [ + + ]: 4829 : sk_nulls_for_each_rcu(sk, pos, &t->msk_chain) - 74 [ + + - + ]: 2371 : if (mptcp_sk(sk)->token == token) + 73 [ + + ]: 4831 : sk_nulls_for_each_rcu(sk, pos, &t->msk_chain) + 74 [ + + - + ]: 2373 : if (mptcp_sk(sk)->token == token) 75 [ - + ]: 2358 : return mptcp_sk(sk); 76 : : return NULL; 77 : : } @@ -375,50 +375,50 @@ 294 : : * On successful iteration, the iterator is moved to the next position and 295 : : * a reference to the returned socket is acquired. 296 : : */ - 297 : 5500 : struct mptcp_sock *mptcp_token_iter_next(const struct net *net, long *s_slot, + 297 : 5486 : struct mptcp_sock *mptcp_token_iter_next(const struct net *net, long *s_slot, 298 : : long *s_num) 299 : : { - 300 : 5500 : struct mptcp_sock *ret = NULL; - 301 : 5500 : struct hlist_nulls_node *pos; - 302 : 5500 : int slot, num = 0; + 300 : 5486 : struct mptcp_sock *ret = NULL; + 301 : 5486 : struct hlist_nulls_node *pos; + 302 : 5486 : int slot, num = 0; 303 : : - 304 [ + + ]: 9196924 : for (slot = *s_slot; slot <= token_mask; *s_num = 0, slot++) { - 305 : 9194448 : struct token_bucket *bucket = &token_hash[slot]; - 306 : 9194448 : struct sock *sk; + 304 [ + + ]: 9196910 : for (slot = *s_slot; slot <= token_mask; *s_num = 0, slot++) { + 305 : 9194432 : struct token_bucket *bucket = &token_hash[slot]; + 306 : 9194432 : struct sock *sk; 307 : : - 308 : 9194448 : num = 0; + 308 : 9194432 : num = 0; 309 : : - 310 [ + + ]: 9194448 : if (hlist_nulls_empty(&bucket->msk_chain)) - 311 : 9186514 : continue; + 310 [ + + ]: 9194432 : if (hlist_nulls_empty(&bucket->msk_chain)) + 311 : 9186578 : continue; 312 : : - 313 : 7934 : rcu_read_lock(); - 314 [ + + ]: 12928 : sk_nulls_for_each_rcu(sk, pos, &bucket->msk_chain) { - 315 : 8018 : ++num; - 316 [ + + ]: 8018 : if (!net_eq(sock_net(sk), net)) - 317 : 1940 : continue; + 313 : 7854 : rcu_read_lock(); + 314 [ + + ]: 12784 : sk_nulls_for_each_rcu(sk, pos, &bucket->msk_chain) { + 315 : 7938 : ++num; + 316 [ + + ]: 7938 : if (!net_eq(sock_net(sk), net)) + 317 : 1894 : continue; 318 : : - 319 [ + + ]: 6078 : if (num <= *s_num) - 320 : 3054 : continue; + 319 [ + + ]: 6044 : if (num <= *s_num) + 320 : 3036 : continue; 321 : : - 322 [ - + ]: 3024 : if (!refcount_inc_not_zero(&sk->sk_refcnt)) + 322 [ - + ]: 3008 : if (!refcount_inc_not_zero(&sk->sk_refcnt)) 323 : 0 : continue; 324 : : - 325 [ - + ]: 3024 : if (!net_eq(sock_net(sk), net)) { + 325 [ - + ]: 3008 : if (!net_eq(sock_net(sk), net)) { 326 : 0 : sock_put(sk); 327 : 0 : continue; 328 : : } 329 : : - 330 [ - + ]: 3024 : ret = mptcp_sk(sk); - 331 : 3024 : rcu_read_unlock(); - 332 : 3024 : goto out; + 330 [ - + ]: 3008 : ret = mptcp_sk(sk); + 331 : 3008 : rcu_read_unlock(); + 332 : 3008 : goto out; 333 : : } - 334 : 4910 : rcu_read_unlock(); + 334 : 4846 : rcu_read_unlock(); 335 : : } 336 : : - 337 : 2476 : out: - 338 : 5500 : *s_slot = slot; - 339 : 5500 : *s_num = num; - 340 : 5500 : return ret; + 337 : 2478 : out: + 338 : 5486 : *s_slot = slot; + 339 : 5486 : *s_num = num; + 340 : 5486 : return ret; 341 : : } 342 : : EXPORT_SYMBOL_GPL(mptcp_token_iter_next); 343 : : @@ -428,13 +428,13 @@ 347 : : * 348 : : * Remove the token associated to @req. 349 : : */ - 350 : 1837 : void mptcp_token_destroy_request(struct request_sock *req) + 350 : 1838 : void mptcp_token_destroy_request(struct request_sock *req) 351 : : { - 352 : 1837 : struct mptcp_subflow_request_sock *subflow_req = mptcp_subflow_rsk(req); - 353 : 1837 : struct mptcp_subflow_request_sock *pos; - 354 : 1837 : struct token_bucket *bucket; + 352 : 1838 : struct mptcp_subflow_request_sock *subflow_req = mptcp_subflow_rsk(req); + 353 : 1838 : struct mptcp_subflow_request_sock *pos; + 354 : 1838 : struct token_bucket *bucket; 355 : : - 356 [ + + ]: 1837 : if (hlist_nulls_unhashed(&subflow_req->token_node)) + 356 [ + + ]: 1838 : if (hlist_nulls_unhashed(&subflow_req->token_node)) 357 : : return; 358 : : 359 : 26 : bucket = token_bucket(subflow_req->token); @@ -453,13 +453,13 @@ 372 : : * 373 : : * Remove the token associated to @msk 374 : : */ - 375 : 3873 : void mptcp_token_destroy(struct mptcp_sock *msk) + 375 : 3884 : void mptcp_token_destroy(struct mptcp_sock *msk) 376 : : { - 377 : 3873 : struct sock *sk = (struct sock *)msk; - 378 : 3873 : struct token_bucket *bucket; - 379 : 3873 : struct mptcp_sock *pos; + 377 : 3884 : struct sock *sk = (struct sock *)msk; + 378 : 3884 : struct token_bucket *bucket; + 379 : 3884 : struct mptcp_sock *pos; 380 : : - 381 [ + + ]: 3873 : if (sk_unhashed((struct sock *)msk)) + 381 [ + + ]: 3884 : if (sk_unhashed((struct sock *)msk)) 382 : : return; 383 : : 384 : 2358 : sock_prot_inuse_add(sock_net(sk), sk->sk_prot, -1); diff --git a/html/lcov/export/mptcp/token_test.c.func-c.html b/html/lcov/export/mptcp/token_test.c.func-c.html index c40a054d..be5827fd 100644 --- a/html/lcov/export/mptcp/token_test.c.func-c.html +++ b/html/lcov/export/mptcp/token_test.c.func-c.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % diff --git a/html/lcov/export/mptcp/token_test.c.func.html b/html/lcov/export/mptcp/token_test.c.func.html index 1e200aaa..9c469edc 100644 --- a/html/lcov/export/mptcp/token_test.c.func.html +++ b/html/lcov/export/mptcp/token_test.c.func.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 % diff --git a/html/lcov/export/mptcp/token_test.c.gcov.html b/html/lcov/export/mptcp/token_test.c.gcov.html index 01775a5f..39569323 100644 --- a/html/lcov/export/mptcp/token_test.c.gcov.html +++ b/html/lcov/export/mptcp/token_test.c.gcov.html @@ -37,7 +37,7 @@ Test Date: - 2024-12-21 10:23:32 + 2024-12-21 10:57:46 Functions: 100.0 %