这是一个创建于 286 天前的主题，其中的信息可能已经有所发展或是发生改变。
小弟我在伺服器(這裏就稱作伺服器 A)上的 Nginx 中配置了一個站點, 配置文件如下
server{
listen 443 ssl;
server_name cloud.xxxxx.net;
ssl_certificate /etc/letsencrypt/live/xxxx.net/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/xxxx.net/privkey.pem;
ssl_session_timeout 5m;
ssl_protocols TLSv1.2 TLSv1.3;
ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:HIGH:!aNULL:!MD5:!RC4:!DHE;
ssl_prefer_server_ciphers on;
location / {
proxy_pass http://127.0.0.1:8021;
proxy_redirect off;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header REMOTE-HOST $remote_addr;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
access_log /www/wwwlogs/access_cloud.xxxx.net.log main;
}
其中此機器的 8021 端口是一臺遠端主機(這裏就稱作伺服器 B), 透過内網穿透將 8021 轉發到伺服器 A 的 8021 上
問題是這樣的, 我上傳了一個 10GB 的文件, 按照我的理解這個文件將會通過 ServerA 實時傳輸到 ServerB 上, 對於 A 來説只是在轉發流量到 B 而已, 但實際情況是, 在文件沒有完成上傳之前, 上傳的文件會占用 A 的磁盤空間, 例如上傳到 9/10GB, 此時會占用 A 機器 9GB 的空間大小, 當完成上傳後空間將被釋放, 但我的伺服器 A 只用作流量轉發, 并沒有多少存儲空間
通過在文件上載時使用 iotop 命令在 ServerA 上檢查確認是 Nginx 進程對磁盤進行的寫入操作, 懷疑是 Nginx 緩存的問題, 我也嘗試添加了 proxy_cache off;proxy_buffering off;proxy_max_temp_file_size 0; 但並不起作用現象照舊
是我的思路一開始就錯了嗎, 難道不是緩存方面的問題, 實在是看不明白了😵💫
server{
listen 443 ssl;
server_name cloud.xxxxx.net;
ssl_certificate /etc/letsencrypt/live/xxxx.net/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/xxxx.net/privkey.pem;
ssl_session_timeout 5m;
ssl_protocols TLSv1.2 TLSv1.3;
ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:HIGH:!aNULL:!MD5:!RC4:!DHE;
ssl_prefer_server_ciphers on;
location / {
proxy_pass http://127.0.0.1:8021;
proxy_redirect off;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header REMOTE-HOST $remote_addr;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
access_log /www/wwwlogs/access_cloud.xxxx.net.log main;
}
其中此機器的 8021 端口是一臺遠端主機(這裏就稱作伺服器 B), 透過内網穿透將 8021 轉發到伺服器 A 的 8021 上
問題是這樣的, 我上傳了一個 10GB 的文件, 按照我的理解這個文件將會通過 ServerA 實時傳輸到 ServerB 上, 對於 A 來説只是在轉發流量到 B 而已, 但實際情況是, 在文件沒有完成上傳之前, 上傳的文件會占用 A 的磁盤空間, 例如上傳到 9/10GB, 此時會占用 A 機器 9GB 的空間大小, 當完成上傳後空間將被釋放, 但我的伺服器 A 只用作流量轉發, 并沒有多少存儲空間
通過在文件上載時使用 iotop 命令在 ServerA 上檢查確認是 Nginx 進程對磁盤進行的寫入操作, 懷疑是 Nginx 緩存的問題, 我也嘗試添加了 proxy_cache off;proxy_buffering off;proxy_max_temp_file_size 0; 但並不起作用現象照舊
是我的思路一開始就錯了嗎, 難道不是緩存方面的問題, 實在是看不明白了😵💫
 |
1
ysc3839 286 天前 via Android  1
proxy_request_buffering off 呢？
|
 |
2
Richared 286 天前
内网穿透使用的什么？检查下这个？例如使用另一台服务器 c 去做内网穿透，验证下是谁的问题，ng 有磁盘写入也不能确认是 ng 的问题，也会落日志的。
|
|
3
ysc3839 286 天前 via Android
可以看看文档，把能关的缓存都关掉
https://nginx.org/en/docs/http/ngx_http_proxy_module.html |
 |
4
wheat0r 286 天前 1
proxy_max_temp_file_size 0;
proxy_request_buffering off; proxy_buffering off |
 |
5
vivisidea 286 天前
考虑对象存储么？文件上传是会出现你说的这个问题的，我感觉是绕不过的，没法实现《真 stream 上传》
1. 引入对象存储，比如 oss ，有现成的 js sdk 做文件直传，数据不经过 nginx （底层原理应该是数据上传前分片+上传+服务端合并） 2. 自己实现 js 文件分片，上传到服务端后在手动合并 |
 |
6
guanzhangzhang 286 天前
上传文件一般是用户获取上传的 oss 的 sts 和 endpoint ，然后上传到对象存储，上传完成后给你后端发送上传完成的请求
|
 |
7
zengxs 286 天前
可以试试 nginx 的 stream 模块直接转发 tcp 流量，做一层 ssl offloading 就行，这样 nginx 就不会解析 http 内容了
|
 |
8
MiKing233 OP @ysc3839 感謝大佬, 確實是 proxy_request_buffering off;加上之後正常 upload, Nginx 終於不向磁碟寫數據了, 感謝感謝!!!
|
|
10
MiKing233 OP @vivisidea 聼留言區大佬説的, 加上了 proxy_request_buffering off;確實解決問題了, Nginx 不會再寫磁碟, 實現「真•stream 上傳了」😁
|
 |
11
salmon5 285 天前
proxy_request_buffering off;#关闭上传硬盘 buffer ，保留内存 buffer：client_body_buffer_size 。
proxy_buffering off;关闭下载内存和硬盘 buffer （关闭 proxy_buffers 和 proxy_max_temp_file_size 0 ）。 |
 |
12
mingl0280 285 天前
别开 buffer 就行了，这是 nginx 的 buffer 的问题。
|
 |
15
iamwin 285 天前 via Android
端口转发用 stream 模块，不要用反向代理
|
 |
16
om2mo 285 天前
楼主台湾人
|
Select Language