WIP: perf: add stream download/upload mem benchmark

.gitignore

@@ -123,3 +123,6 @@ run
 !test/ctx_register.js
 
 .egg/
+
+# Benchmark test files
+benchmark/stream_download/nginx/50mb_ones.txt

benchmark/stream_download/Dockerfile

@@ -0,0 +1,41 @@
+FROM node:24.12.0
+
+# 安装 nginx 和其他必要工具
+RUN apt-get update && apt-get install -y \
+    nginx \
+    curl \
+    vim \
+    && rm -rf /var/lib/apt/lists/* \
+    && apt-get clean
+
+# 创建 nginx 配置目录
+RUN mkdir -p /etc/nginx/conf.d
+
+# 复制 nginx 配置文件
+COPY nginx.conf /etc/nginx/sites-available/default
+
+# 创建 nginx 工作目录
+RUN mkdir -p /var/www/html
+
+# 创建启动脚本
+COPY start-nginx.sh /usr/local/bin/start-nginx.sh
+RUN chmod +x /usr/local/bin/start-nginx.sh
+
+# 暴露端口
+EXPOSE 80 9229
+
+# 设置工作目录
+WORKDIR /var/www/html
+
+# 健康检查
+HEALTHCHECK --interval=30s --timeout=3s --start-period=5s --retries=3 \
+    CMD curl -f http://localhost/health || exit 1
+
+RUN mkdir -p /root/workspace
+
+COPY benchmark.js /root/workspace/benchmark.js
+
+RUN cd /root/workspace && npm i urllib --registry https://registry.npmmirror.com
+
+# 启动命令
+CMD ["/usr/local/bin/start-nginx.sh"]

benchmark/stream_download/README.md

@@ -0,0 +1,51 @@
+# Nginx 下载/上传测试服务器
+
+## 快速开始
+
+> **注意**: 请先切换到 `benchmark/stream_download` 目录下执行以下命令
+
+### 构建镜像
+
+```bash
+docker build --platform linux/amd64 -t nginx-node-benchmark .
+```
+
+### 运行容器
+
+```bash
+docker run -rm -d --platform linux/amd64 \
+  --name nginx-benchmark-server \
+  -p 8080:80 \
+  -v $(pwd)/nginx:/var/www/html \
+  nginx-node-benchmark
+```
+
+### 测试
+
+```bash
+# 下载测试
+curl -O http://localhost:8080/download/test-file.txt
+
+# 上传测试
+curl -X POST -d "test" http://localhost:8080/upload/
+```
+
+### 停止
+
+```bash
+docker stop nginx-benchmark-server && docker rm nginx-benchmark-server
+```
+
+### 运行生成大文件
+
+```bash
+sh generate_50mb_file.sh
+```
+
+### 运行 node 测试
+
+```bash
+docker exec -ti nginx-benchmark-server bash
+cd /root/workspace
+node benchmark.js
+```

benchmark/stream_download/benchmark.js

@@ -0,0 +1,22 @@
+const urllib = require('urllib');
+const fs = require('fs');
+const crypto = require('crypto');
+const path = require('path');
+
+async function downloadAndUpload() {
+  const tmpFilePath = path.join(__dirname, `${crypto.randomUUID()}.txt`);
+  await urllib.request('http://127.0.0.1/download/50mb_ones.txt', {
+    writeStream: fs.createWriteStream(tmpFilePath),
+  });
+  await urllib.request('http://127.0.0.1/upload/', {
+    method: 'POST',
+    stream: fs.createReadStream(tmpFilePath),
+  });
+  await fs.promises.rm(tmpFilePath);
+}
+
+(async () => {
+  while (true) {
+    await downloadAndUpload();
+  }
+})();

benchmark/stream_download/curl-format.txt

@@ -0,0 +1,16 @@
+time_namelookup:  %{time_namelookup}\n
+       time_connect:  %{time_connect}\n
+    time_appconnect:  %{time_appconnect}\n
+   time_pretransfer:  %{time_pretransfer}\n
+      time_redirect:  %{time_redirect}\n
+ time_starttransfer:  %{time_starttransfer}\n
+                    ----------\n
+         time_total:  %{time_total}\n
+                    ----------\n
+       size_download:  %{size_download}\n
+      speed_download:  %{speed_download}\n
+       size_request:   %{size_request}\n
+      speed_upload:     %{speed_upload}\n
+     content_type:     %{content_type}\n
+    num_connects:     %{num_connects}\n
+   num_redirects:      %{num_redirects}

benchmark/stream_download/docker-compose.nginx.yml

@@ -0,0 +1,23 @@
+version: '3.8'
+
+services:
+  nginx-benchmark:
+    image: nginx:alpine
+    container_name: nginx-benchmark-server
+    ports:
+      - '8080:80'
+    volumes:
+      - ./nginx.conf:/etc/nginx/conf.d/default.conf:ro
+      - ./nginx:/usr/share/nginx/html:ro
+    restart: unless-stopped
+
+  # 可选：使用 openresty 支持 Lua 模块
+  # openresty-benchmark:
+  #   image: openresty/openresty:alpine
+  #   container_name: openresty-benchmark-server
+  #   ports:
+  #     - "8080:80"
+  #   volumes:
+  #     - ./nginx.conf:/etc/nginx/conf.d/default.conf:ro
+  #     - ./nginx:/usr/share/nginx/html:ro
+  #   restart: unless-stopped

benchmark/stream_download/generate_50mb_file.sh

@@ -0,0 +1,30 @@
+#!/bin/bash
+
+# 生成一个50MB的txt文件，内容都是1
+# 文件名为: 50mb_ones.txt
+
+OUTPUT_FILE="50mb_ones.txt"
+TARGET_SIZE_MB=50
+TARGET_SIZE_BYTES=$((TARGET_SIZE_MB * 1024 * 1024))
+
+# 检查文件是否已存在
+if [ -f "$OUTPUT_FILE" ]; then
+    echo "文件 $OUTPUT_FILE 已存在，正在删除..."
+    rm -f "$OUTPUT_FILE"
+fi
+
+echo "正在生成 $TARGET_SIZE_MB MB 的文件，内容都是1..."
+
+# 使用dd命令生成文件，每块1KB，共50*1024块
+dd if=/dev/zero bs=1024 count=$((TARGET_SIZE_MB * 1024)) | tr '\0' '1' > "$OUTPUT_FILE"
+
+# 验证文件大小
+ACTUAL_SIZE=$(stat -f%z "$OUTPUT_FILE" 2>/dev/null || stat -c%s "$OUTPUT_FILE" 2>/dev/null)
+if [ "$ACTUAL_SIZE" -eq "$TARGET_SIZE_BYTES" ]; then
+    echo "成功生成文件: $OUTPUT_FILE"
+    echo "文件大小: $(ls -lh "$OUTPUT_FILE" | awk '{print $5}')"
+else
+    echo "警告: 文件大小不匹配，期望: $TARGET_SIZE_BYTES 字节，实际: $ACTUAL_SIZE 字节"
+fi
+
+echo "文件路径: $(pwd)/$OUTPUT_FILE"

benchmark/stream_download/nginx.conf

@@ -0,0 +1,78 @@
+server {
+    listen 80;
+    server_name localhost;
+
+    # 设置根目录为 nginx 文件夹
+    root /var/www/html/;
+
+    # 禁用缓存以支持流式下载测试
+    sendfile off;
+    tcp_nopush off;
+    tcp_nodelay on;
+    keepalive_timeout 65;
+
+    # 下载路径 - GET /download/
+    location /download/ {
+        # 映射到 nginx 目录中的文件
+        alias /var/www/html/;
+        autoindex on;
+        autoindex_exact_size off;
+
+        # 支持断点续传
+        add_header Accept-Ranges bytes;
+
+        # 设置合适的缓存头用于测试
+        expires -1;
+        add_header Cache-Control "no-cache, no-store, must-revalidate";
+        add_header Pragma "no-cache";
+
+        # 允许跨域访问（测试需要）
+        add_header Access-Control-Allow-Origin *;
+        add_header Access-Control-Allow-Methods "GET, OPTIONS";
+        add_header Access-Control-Allow-Headers "DNT,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Range";
+
+        if ($request_method = 'OPTIONS') {
+            return 204;
+        }
+    }
+
+    # 上传路径 - POST /upload/
+    location /upload/ {
+        # 只允许 POST 方法
+        limit_except POST {
+            deny all;
+        }
+
+        # 将上传内容重定向到 /dev/null
+        client_body_in_file_only clean;
+        client_body_temp_path /tmp/nginx_temp;
+        client_max_body_size 0;  # 不限制上传大小
+
+        # 使用 Lua 模块或直接返回 201
+        return 201;
+
+        # 如果需要更复杂的处理，可以使用 Lua
+        # content_by_lua_block {
+        #     ngx.req.read_body()
+        #     local data = ngx.req.get_body_data()
+        #     -- 数据已经被读取，但不做任何处理
+        #     ngx.status = 201
+        #     ngx.say("{\"status\":\"uploaded\",\"bytes_received\":" .. ngx.req.get_headers()["content-length"] .. "}")
+        #     ngx.exit(201)
+        # }
+    }
+
+    # 健康检查端点
+    location /health {
+        access_log off;
+        return 200 "healthy\n";
+        add_header Content-Type text/plain;
+    }
+
+    # 错误页面
+    error_page 404 /404.html;
+    error_page 500 502 503 504 /50x.html;
+    location = /50x.html {
+        root /usr/share/nginx/html;
+    }
+}

benchmark/stream_download/nginx/test-file.txt

@@ -0,0 +1,16 @@
+这是一个测试文件，用于 nginx 下载测试。
+
+文件内容：
+- 测试文件大小：约 1KB
+- 用途：验证 /download/ 路径的文件下载功能
+- 创建时间：2025-12-24
+
+可以通过以下方式测试：
+1. GET http://localhost:8080/download/test-file.txt
+2. 使用 curl: curl -O http://localhost:8080/download/test-file.txt
+3. 使用 wget: wget http://localhost:8080/download/test-file.txt
+
+测试上传功能：
+1. POST http://localhost:8080/upload/
+2. 使用 curl: curl -X POST -d "test data" http://localhost:8080/upload/
+3. 使用 curl 上传文件: curl -X POST --data-binary @test-file.txt http://localhost:8080/upload/

benchmark/stream_download/package.json

@@ -0,0 +1,3 @@
+{
+  "type": "commonjs"
+}

benchmark/stream_download/start-docker.sh

@@ -0,0 +1,90 @@
+#!/bin/bash
+
+# Docker 启动脚本
+set -e
+
+# 设置变量
+IMAGE_NAME="nginx-node-benchmark"
+CONTAINER_NAME="nginx-benchmark-server"
+HOST_PORT="8080"
+CONTAINER_PORT="80"
+MOUNT_DIR="$(pwd)/nginx"
+CONTAINER_MOUNT_DIR="/var/www/html"
+
+# 颜色输出
+RED='\033[0;31m'
+GREEN='\033[0;32m'
+YELLOW='\033[1;33m'
+NC='\033[0m' # No Color
+
+echo -e "${GREEN}=== 启动 Docker 容器 ===${NC}"
+
+# 检查 Docker 是否运行
+if ! docker info > /dev/null 2>&1; then
+    echo -e "${RED}错误: Docker 未运行或未安装${NC}"
+    exit 1
+fi
+
+# 检查 nginx 目录是否存在
+if [ ! -d "$MOUNT_DIR" ]; then
+    echo -e "${YELLOW}警告: nginx 目录不存在，正在创建...${NC}"
+    mkdir -p "$MOUNT_DIR"
+fi
+
+# 检查是否有测试文件，如果没有就创建一些
+if [ ! -f "$MOUNT_DIR/test-file.txt" ]; then
+    echo -e "${YELLOW}创建测试文件...${NC}"
+    cp nginx/test-file.txt "$MOUNT_DIR/" 2>/dev/null || echo "测试文件已存在"
+fi
+
+if [ ! -f "$MOUNT_DIR/large-test-file.bin" ]; then
+    echo -e "${YELLOW}创建大测试文件...${NC}"
+    cp nginx/large-test-file.bin "$MOUNT_DIR/" 2>/dev/null || dd if=/dev/zero of="$MOUNT_DIR/large-test-file.bin" bs=1M count=10
+fi
+
+# 停止并删除已存在的容器
+echo "检查并停止已存在的容器..."
+docker stop "$CONTAINER_NAME" > /dev/null 2>&1 || true
+docker rm "$CONTAINER_NAME" > /dev/null 2>&1 || true
+
+# 构建 Docker 镜像
+echo "构建 Docker 镜像..."
+docker build -t "$IMAGE_NAME" .
+
+# 启动容器
+echo "启动容器..."
+docker run -d \
+    --name "$CONTAINER_NAME" \
+    -p "$HOST_PORT:$CONTAINER_PORT" \
+    -v "$MOUNT_DIR:$CONTAINER_MOUNT_DIR:ro" \
+    --restart unless-stopped \
+    "$IMAGE_NAME"
+
+# 等待容器启动
+echo "等待容器启动..."
+sleep 3
+
+# 检查容器状态
+if docker ps | grep -q "$CONTAINER_NAME"; then
+    echo -e "${GREEN}容器启动成功！${NC}"
+    echo -e "${GREEN}访问地址: http://localhost:$HOST_PORT${NC}"
+    echo -e "${GREEN}下载测试: http://localhost:$HOST_PORT/download/${NC}"
+    echo -e "${GREEN}上传测试: http://localhost:$HOST_PORT/upload/${NC}"
+    echo -e "${GREEN}健康检查: http://localhost:$HOST_PORT/health${NC}"
+
+    # 显示容器信息
+    echo ""
+    echo "容器信息:"
+    docker ps | grep "$CONTAINER_NAME"
+
+    echo ""
+    echo "测试命令:"
+    echo "下载测试: curl -O http://localhost:$HOST_PORT/download/test-file.txt"
+    echo "上传测试: curl -X POST -d 'test' http://localhost:$HOST_PORT/upload/"
+
+else
+    echo -e "${RED}容器启动失败！${NC}"
+    echo "查看日志:"
+    docker logs "$CONTAINER_NAME"
+    exit 1
+fi