百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

高并发/高io下,设置linux下文件打开数限制

ahcoder 2025-03-29 14:38 12 浏览

背景

服务是高并发的密集io型服务,连接数和打开文件数特别高。而在linux中,一切皆文件,所以连接数本身也会表现为文件打开数。默认情况下,linux单进程打开文件数的限制是1024 , 非常低,在密集io型服务里很容易超过。

一般的情况下,我们是根据服务器内存大小,以及单进程使用情况,来多开进程,同时限制单进程打开的文件数。但 dfyun 比较特殊——它是文件打开数特别多(连接数+本地文件打开数+遍历扫描文件操作等等) ,但占用的内存特别小。所以,我不需要根据内存来斟酌打开数值了,直接设置一个非常大的数据即可,让系统不再在文件数上做限制。
下面将直接上代码,放开linux设置,让其不再限制文件打开数。一些代码的细节可以看注释,如果有疑问,可直接上网查找该命令的概念。

操作

# vi /etc/sysctl.conf ,末尾添加
fs.file-max = 655350000
fs.nr_open = 655350000

# 执行命令生效
sysctl -p
# 查看 max-file:
cat /proc/sys/fs/file-max
# 查看当前系统总打开文件数
cat /proc/sys/fs/file-nr
# 输出: 9344 0 592026,
# 分别为:1.已经分配的文件句柄数,2.已经分配但没有使用的文件句柄数,3.最大文件句柄数。
# 修改系统对单个进程打开的文件数限制
ulimit -n 655350000
echo "* soft nofile 655350000" >> /etc/security/limits.conf
echo "* hard nofile 655350000" >> /etc/security/limits.conf
# 顺便附上查看各个进程打开的文件数的命令。显示格式是文件数 + 进程id
lsof -n |awk '{print $2}'|sort|uniq -c|sort -nr|more

# 如果有安装nginx做转发,则还需要设置nginx 
#打开nginx本身的文件数限制
vi /etc/nginx/nginx.conf
# 找到相应位置覆盖修改这个配置
worker_rlimit_nofile 655350000;
events  {
  worker_connections 65535;
}

vi /etc/sysctl.conf 末尾添加tcp连接数相关配置
net.core.somaxconn = 20480
net.core.rmem_default = 262144
net.core.wmem_default = 262144
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 4096 16777216
net.ipv4.tcp_wmem = 4096 4096 16777216
net.ipv4.tcp_mem = 786432 2097152 3145728
net.ipv4.tcp_max_syn_backlog = 16384
net.core.netdev_max_backlog = 20000
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_max_orphans = 131072
net.ipv4.tcp_syncookies = 0
之后执行 sysctl -p 生效

相关推荐

linux基础命令之zip、unzip命令(linux zip指令)

zip命令是linux系统下压缩文件的命令,后缀为.zip。unzip命令是对zip压缩包进行解压,和tar命令不同,tar命令是支持压缩和解压的命令语法格式:zip参数压缩名称要进行压缩的目录...

Linux:基础命令讲解实例(九)(linux13个基础命令)

前言大家好!本次我们详细介绍Linux系统中两个重要的命令:tar和zip。tar用于打包和解压文件,而zip用于创建和解压ZIP压缩文件。tar命令tar命令用于打包和解压文件...

Linux应用打包格式Flatpak风光背后,核心开发陷入停滞

IT之家5月24日消息,在今年4月召开的Linux应用峰会(LAS)上,GNOME项目成员、RedHat员工SebastianWick指出,Flatpak这一应用打包格式...

深入学习IO多路复用select/poll/epoll实现原理

Linux服务器处理网络请求有三种机制,select、poll、epoll,本文打算深入学习下其实现原理。0.结论本文其他的内容主要是得出了下面几个结论:服务器要接收客户端的数据,要建立sock...

X11退场,Ubuntu 25.10发行版全面拥抱Wayland

IT之家6月12日消息,科技媒体linuxiac昨日(6月11日)发布博文,报道称Canonical宣布自Ubuntu25.10开始,将彻底移除基于Xorg的GNOM...

最火的 CI/CD 平台 Jenkins 详细搭建教程(for Linux)

在正式学习Jenkins之前我们需要对两个名词有一定了解,其一是DevOps,另外一个就是CI/CD。何为DevOps?来自wiki百科介绍DevOps是一系列软件开发实践,强调开发人员(Dev)和测...

Window安装Linux子系统(win10安装linux子系统 图形界面)

目前程序开发过程中使用的很多中间件在生产环境中都是稳定运行在linux系统上的,虽然有一些中间件提供了Windows的版本,但是可能存在一定的差异,为了更好的学习建议准备一个linux环境运行这些中间...

Linux下Qt桌面应用的开发流程(qt程序能否运行在linux)

在Linux下开发Qt桌面应用的完整流程可分为以下六个核心阶段,结合Qt框架特性和Linux环境特点进行优化。北京木奇移动技术有限公司,专业的软件外包开发公司,欢迎洽谈合作。一、环境搭建与配置1安装...

搭建Oracle数据库服务器(oracle数据库服务器部署)

【十一】搭建Oracle数据库服务器下面介绍Oracle12c_R2的安装。一)建用户,组,目录,权限1)创建用户和组有两个组,oinstall是主组,dba是附组:[root@alex~]#g...

linux实例之创建service服务(linux 制作服务)

前面我们讲过可以通过service命令来启动,重启,停止指定的服务程序。service服务可以在系统启动时,自动运行该服务,我们可以利用这一特点,创建service文件,并且让系统重启时,自动执行命令...

Linux编程Shell之入门——Shell select in循环详解

select循环是一种用于创建交互式菜单的特殊循环结构。它允许用户从预定义的选项列表中进行选择,并根据选择执行相应的操作。select循环在交互式shell脚本中非常有用。下面是select...

安装Linux之前必备知识(安装linux之前必备知识的软件)

内容提要1、磁盘分区的相关概念2、使用静态分区的缺点3、LVM的相关概念磁盘分区在安装Linux以前,首先应该了解一些关于硬盘分区的知识。现代操作系统无一例外地使用了虚拟内存技术。Windows系统使...

Linux开机自启全攻略:找到最适合你的方法

今天一个linux的开机自启,折腾了两个小时,好好的梳理下以备不时之需。接触linux15年了。这点小知识还是没摸透。在Linux中设置开机自启动。除了"systemd"以外还有以下有...

麒麟 v10 系列单用户模式(麒麟v10 bond)

起因:因为操作系统有关键性文件被删除了,导致系统出现了问题,需要进行修复系统,这个时候只能进去单用户模式去修复,然后我安装centos系的方法重启按e,没想到需要输入账号密码,我输入了root的账号密...

Linux中的sudo功能(linux里的sudo)

sudo是Linux系统中一个非常重要的工具,他允许普通用户以超级用户(root)或其他用户的权限执行命令。以下是sudo命令功能的详细介绍:sudo的基本功能权限提升:允许普通用户执行需要超级用户权...