在C中使用TCP基准测试时出现意外带宽

Question

因此，我正在对TCP进行一些基准测试，以研究每个连接传输的数据量对结果带宽的影响。因此，我用C语言编写了一个服务器和一个客户端来衡量我的需求。然后，我使用Python脚本多次运行实验（为了达到+/- 1％的精​​度，我对测试进行了100秒钟的测试。对于每个数据点，我对实验进行了33次测试以得到一个不错的平均值。）不同的输入，并收集结果。

我得到的结果似乎是正确的（我什至可以观察到在每次连接传输更高的数据量时达到预期的平稳状态，但带宽仅为应有的带宽的10％...

因为我只能访问一台计算机来运行此基准测试，所以我正在localhost上进行测试，但这不应该成为问题。

这是我的结果：

如您所见，似乎我可以获得的最佳带宽略高于300 MB / s ...但是，如果我使用iperf运行带宽测试（我确保使用相同的TCP窗口大小），本地主机，我获得大约3 GB / s的带宽。

这是我的客户的代码：

int main(int argc, char const *argv[])
{
    unsigned int size;
    unsigned int timeout;
    int sockfd;
    struct sockaddr_in server_addr;

    if(argc < 4 || argc > 5 ){
        usage();
        exit(1);
    }

    const char * ip = "127.0.0.1";
    ip = argv[3];

    int port = PORT;
    if(argc == 5) {
        port = atoi(argv[4]);
    }

    size = atoi(argv[1]);
    timeout = atoi(argv[2]);

    unsigned int count = 0;

    struct timespec start, end;

    clock_gettime(CLOCK_MONOTONIC_RAW, &start);
    clock_gettime(CLOCK_MONOTONIC_RAW, &end);

    while((end.tv_sec - start.tv_sec) < timeout) {

        // socket create and varification
        sockfd = socket(AF_INET, SOCK_STREAM, 0);
        if (sockfd == -1) {
            perror("Could not create socket\n");
            exit(0);
        }

        bzero(&server_addr, sizeof(server_addr));

        // assign IP, PORT of the server
        server_addr.sin_family = AF_INET;
        server_addr.sin_addr.s_addr = inet_addr(ip);
        server_addr.sin_port = htons(port);

        // connect the client socket to server socket
        if (connect(sockfd, (struct sockaddr *)&server_addr, sizeof(server_addr)) != 0) {
            perror("connection with the server failed");
            exit(1);
        }

        unsigned int nread = 0;
        unsigned int nreadcum = 0;
        char* buf = malloc(size);
        char* bufbuf = buf;

        while(nreadcum < size){
            nread = read(sockfd, bufbuf, size-nreadcum);
            nreadcum += nread;
            bufbuf+=nread;
        }
        // close connection
        close(sockfd);
        count++;
        clock_gettime(CLOCK_MONOTONIC_RAW, &end);
        free(buf);
    }


    uint64_t sec = (end.tv_sec - start.tv_sec);
    double bandwidth = (count*size)/sec;

    printf("%u,%lf,%u,%lu\n", size, bandwidth, count, sec);

    return 0;
}

这是我服务器的代码：

int serv_sock_fd;

int main(int argc, char const *argv[])
{
    int size;
    struct sockaddr_in serv_addr;
    struct sockaddr_in client_addr;
    int bound_port;

    if(argc != 2){
        usage();
        exit(1);
    }

    size = atoi(argv[1]);

    int serv_sock_fd = socket(AF_INET,SOCK_STREAM,0);
    int true = 1;
    setsockopt(serv_sock_fd,SOL_SOCKET,SO_REUSEADDR,&true,sizeof(int));
    if(serv_sock_fd == -1) {
        perror("Failed to open server socket");
        exit(1);
    }

    bzero(&serv_addr, sizeof(serv_addr));

    serv_addr.sin_family = AF_INET;
    serv_addr.sin_addr.s_addr = INADDR_ANY;
    serv_addr.sin_port = htons(PORT);

    // Bind socket to the chosen port
    if ((bound_port = bind(serv_sock_fd, (struct sockaddr *) &serv_addr, sizeof(serv_addr))) <0){
        perror("Could not bind socket to local port");
        exit(1);
    }

    // Listen on the port
    if (listen(serv_sock_fd, 16))
    {
        perror("Could not listen");
        exit(1);
    }

    signal(SIGINT, sigint_handler);

    printf("Waiting for connection on %d ...\n", PORT);

    int returned = 1;


    while(returned) {
        int new_socket_fd;
        unsigned int client_addr_len = sizeof(client_addr);
        if ((new_socket_fd = accept(serv_sock_fd, (struct sockaddr *)&client_addr,
                            &client_addr_len))<0) {
                perror("Could not accept client connection");
                exit(1);
            }
        char * payload = sequence_payload(size);
        returned = write(new_socket_fd, payload, size);
        close(new_socket_fd);
        free(payload);
    }


    close(serv_sock_fd);
    return 0;
}

char * sequence_payload(int size) {
    char * payload = malloc(size);
    for (int i = 0; i < size; i++)
    {
        payload[i] = i%256;
    }
    return payload;
}

基本上我的代码在做什么：

• 对于服务器：等待客户端连接，发送所需大小的虚拟有效负载并关闭与该客户端的连接，重复。
• 对于客户端：打开与服务器的连接，读取服务器正在发送的内容，直到服务器关闭连接，重复直到达到确定的超时为止。

要计算带宽，我只需执行(number_of_connections_completed * size_transferred_by_connection) / duration_of_all_transfers。我使用python计算带宽，以免C中出现任何溢出。

TLDR：我的C程序获得的带宽比本地主机上的带宽小10倍。该问题的根源可能是什么？

Answer 1

malloc和free是这里的主要问题。由于它们是系统调用，因此需要花费大量时间，并且由于我是在测量TCP的性能而不是内存分配的性能，因此malloc和free应该不在我的概要分析循环之外。同样，服务器端循环中的printf也有同样的问题，虽然不及malloc糟糕，但在测量屏幕性能时不应考虑在屏幕上打印内容所花费的时间。 TCP。