百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

Linux系统一个进程最多能开启多少个线程

ahcoder 2025-01-23 14:57 21 浏览


大家在编程过程中或多或少使用过多线程进行多任务的并行。在享受线程便利的同时,你有没有想过一个问题,一个程序最多能开启多少个线程?它的数量是无限制的吗?

在这篇文章中我们来讨论一下Linux下一个进程可以开启多少个线程

测试环境

树莓派Raspberry 32位操作系统,内存4GB

使用Python程序开启线程数测试

在测试程序中循环中开启100000个线程,每个线程打印自己的序号后进入循环等待。

from threading import Thread
import time
def test(i):
    print("thread:",i)
    while True:
        time.sleep(5)   
for i in range(100000):
    newthread=Thread(target=test,args=(i,))
    newthread.start()

运行结果如下图,可以看到在开启376个线程后,报错不能再开启新的线程。下面讨论一下哪些因素制约了线程的开启。

线程栈大小的限制

线程的的数量限制取决于多种因素,这里先说对stack栈大小的限制,使用ulimit -s可以查看当前操作系统中每个线程的stack栈大小的限制,我的32位树莓派默认值是8192k。

简单地使用如下的公式计算:

(4G*1024*1024)/8992=512

按照8192k的栈大小设置,当前系统下最多可以创建512的线程,减去目前系统中已经有的线程,留给应用程序的线程数就更少了。需要注意的是这里没有考虑内核空间和用户的空间内存的划分,计算只是大概的并不严谨。

那么我们是否可以减少线程栈大小限制,来提高线程的数量?

我使用ulimit -s 256 将当前shell下的栈大小修改为256k,再次运行上面的Python程序,结果如下:

从结果可以看出,将线程堆栈大小减少到256K后,可以开启的线程数大大增加,超过1万个。

注意:

  • ulimit -s 可以设置当前shell下的资源限制,是一种临时设置,不影响其他shell下的设置。
  • 如果将线程栈大小设置为全局永久设置,这时如果数值设置的过小,会严重影响到其他程序的稳定。

增加SWAP空间能提高线程数量吗

我在将swap交换空间提高到4GB后,再次运行Python脚本结果,结果是线程数没有得到任何提升,说明限制线程数取决于物理内存和Swap交换空间无关。

/proc/sys/kernel/threads-max 限制了系统总线程数

在/proc/sys/kernel/threads-max中限制了系统中所有进程的线程数总和,可以通过设置此参数更高的值量来提高线程数量,在我的树莓派中此参数默认是 58368。

/proc/sys/vm/max_map_count

这个参数按照定义表示表示一个进程可以拥有的VMA(虚拟内存区域)的最大数量,我的树莓派下默认是65530,1大概代表128Kb, 尝试将他修改为9999实验发现,在线程栈大小为256K的情况下,只能创建4000左右个线程。

/proc/sys/kernel/thread-max

/proc/sys/kernel/thread-max参数限制了系统中所有进程和线程pid的总数量,注意每个线程也有一个pid,我的树莓派中此数值默认为58368,可以通过提高此数值,提高线程总数。

总结:

通过使用32位的树莓派Linux实验一个进程下能够开启多少个线程,结论如下。

1 ulimit -s参数设置了每个线程的栈大小,减少此数值可以提高线程数,但是太小的数值可能带来严重的后果。

2 增加swap交换空间没有提升线程的数量。

3 /proc/sys/kernel/threads-max 限制了操作系统总线程数。

4 /proc/sys/vm/max_map_count限制了一个进程能使用的总的虚拟内存区域的数量。

5 /proc/sys/kernel/thread-max 限制了系统中总的pid数量。

此外在我开出超过10000个线程之后,我的系统无法再打开新的shell窗口,也无法在已经打开的其他shell下输入任何命令,提示资源暂时不可用,说明此时我的树莓派的线程总数已经到达上线,严重影响了其他程序。

相关推荐

Linux基础运维篇:Linux日志管理(第013课)

日志是什么Linux系统中的日志就像是一个记录员,它会把系统中发生的各种事情都记录下来,比如系统什么时候启动了、哪些用户登录了系统、运行了哪些程序、程序有没有出错、硬件有没有问题等等。这些记录对于系...

目标取代deb包格式,深度Linux操作系统公布“如意玲珑”项目

IT之家7月16日消息,7月13日,在上海站的deepinMeetup如意玲珑专场上,深度操作系统官方正式宣布了项目全新的品牌名称——如意玲珑(Linyaps)。目前如意玲珑已...

基于 Linux 快速搭建私有化 Helm Chart 仓库(ChartMuseum 实战指南)

一、前言在Kubernetes中,Helm是最流行的包管理工具,用于简化应用部署与管理。如果你希望在内网环境中部署、管理自己的HelmCharts,就需要搭建一个私有化HelmChart...

Linux环境开发效率--那些强大的命令

之前写了一篇关于linux下常用的几个命令,参考Linux入门--提高工作效率的命令。接下来接着介绍一些在linux下做开发经常使用到得命令,其中有打包压缩命令tar,文件查找命令find,文件内容查...

怎么使用再生龙打包(备份)liunx系统

liunx系统区别于Windows,由于分区格式的特殊性并不能像GHOST那样进行备份封包,有款开源的针对liunx系统备份还原的软件-再生龙(clonezilla),可能有部分人已经用过,本篇文章让...

python打包那些事儿(python的打包)

python是个万金油,什么活都能干,开发一些小应用的时候,要想其他人也方便使用,就需要对程序进行打包生成可执行文件,不再依赖python环境或者其他文件。前几天写了一个视频去水印的小程序,主要依赖f...

「项目部署」使用Jenkins一键打包部署SpringBoot应用

前言嗨,大家好,我是希留,一个被迫致力于全栈开发的老菜鸟。一般而言,一个项目部署的由:拉取代码->构建->测试->打包->部署等过程组成,如果我们经常需要部署项目,特别是在微服...

Linux面试最高频的5个基本问题(linux面试题必会题目)

CPU利用率和CPU负载的区别是什么提到CPU利用率,就必须理解时间片。什么是CPU时间片?我们现在所使用的Windows、Linux、MacOS都是“多任务操作系统”,就是说他们可以“同时”运行多...

jtti:如何将Linux服务器的文件系统创建成镜像

如何将Linux服务器的文件系统创建成镜像?如何把Linux文件系统创建成一个镜像文件,也就是"系统打包"?这类操作不仅适用于迁移、备份,还能用于批量部署、自定义系统安装,甚至可以作为...

用Nuitka打包 Python,效果竟如此惊人!

使用Python开发一个程序后,将Python脚本打包成独立可执行文件是一项常见需求。Nuitka是一个Python到C的编译器,它会将Python代码转换为等效的C代码,然后使用标...

Linux基础运维篇:Linux软件包管理(第014课)

什么是软件包管理在Linux系统中,软件包管理就像是一个“软件管家”,负责软件的安装、卸载、更新以及软件之间依赖关系的处理。它把软件及其相关的文件、配置信息等打包在一起,方便用户进行管理和操作。...

给你的Nodejs后端项目打个包(node为基础的后端框架)

前阵子,碰到个问题用Nodejs做了个小项目需要交付客户使用之前Nodejs做的都是自用,所以也没碰到需要打包保护源码之类的问题上网搜了半天,找到的大多是针对Vue的前端项目打包/混淆,例如用...

爆强!直接把 Python 编写的图形程序打包为安卓 APP

请大家多多关注点赞哦如果想使用Python语言编写图形界面程序,那么有不少的框架可以提供支持,比如Tkinter、QtforPython、WxPython等等。不过这些框架都是只能创建桌面图...

几行代码教你zip打包(打包zip命令)

01准备有时我们不想去手动一个个去操作,然后傻等他打包完,python依赖库zipfile很方便地帮助我们封装了解压压缩,shutil用于文件目录处理,方法类似于linux命令。1、安装pipin...

Linux基础运维篇:Linux文件操作超详细版(第007课)

一、Linux文件系统基础1.文件类型Linux一切皆文件,常见文件类型:普通文件(-):文本文件(.txt)、二进制文件(可执行程序)、压缩文件等。目录文件(d):用于组织文件和子目录(类似...