百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

Linux 使用shell进行逐行文本求和

ahcoder 2025-03-24 13:25 31 浏览

如果我们要计算一个文本文件中某一列数字的总和,给出一个文件如下:

touch test.txt

1 3
2 4
3 5
4 7

使用之前提到的awk指令,可以使用以下方式:

awk '{s+=$2} END {print s}' test.txt
19

使用这种方式可以得到我们想要的结果,但是我们还可以使用另外一种方式:即使用shell脚本进行逐行处理。

接下来我们来剖析使用shell 脚本逐行处理文本求和

touch test.sh

#!/bin/bash
sum=0
cat test.txt | while read line
do
		temp_num=$(echo "$line" | cut -d ' ' -f 2)
		sum=$(( $sum + $temp_num ))
done
echo "we get sum:$sum"                    
$ chmod +x test.sh
$ ./test.sh
$ we get sum:0

得到的结果是0,显然是错误的

从脚本中分析,在cat test.txt 之后将数据通过管道传递到while循环中,而while 循环的执行结果都是在一个子shell中,一旦这个子shell退出后,它里面的执行结果就会被释放。

我们在Linux中可以安装shellcheck 工具,用于检查shell 脚本的正确性,以Ubuntu为例:

sudo apt-get install shellcheck
$ shellcheck 2.sh

In 2.sh line 3:
cat test.txt | while read line
    ^------^ SC2002: Useless cat. Consider 'cmd < file | ..' or 'cmd file | ..' instead.
                     ^--^ SC2162: read without -r will mangle backslashes.


In 2.sh line 6:
    sum=$(( $sum + $temp_num ))
    ^-^ SC2030: Modification of sum is local (to subshell caused by pipeline).
            ^--^ SC2004: $/${} is unnecessary on arithmetic variables.
                   ^-------^ SC2004: $/${} is unnecessary on arithmetic variables.


In 2.sh line 9:
echo "we get sum:$sum"
                 ^--^ SC2031: sum was modified in a subshell. That change might be lost.

For more information:
https://www.shellcheck.net/wiki/SC2030 -- Modification of sum is local (to ...
https://www.shellcheck.net/wiki/SC2031 -- sum was modified in a subshell. T...
https://www.shellcheck.net/wiki/SC2162 -- read without -r will mangle backs...

不使用管道命令的情况下,继续进行尝试

!/bin/bash                                                                                     
sum=0
for line in $(cat test.txt)
do
    echo "we get line: $line"
    temp_num=$(echo "$line" | cut -d ' ' -f 2)
    sum=$(( $sum + $temp_num ))
done
echo "we get sum:$sum"

得到以下结果:

$ ./2.sh
we get line: 1
we get line: 3
we get line: 2
we get line: 4
we get line: 3
we get line: 5
we get line: 4
we get line: 7
we get sum:29!/bin/bash                                                                                     
IFS=
\n' sum=0 for line in $(cat test.txt) do echo "we get line: $line" temp_num=$(echo "$line" | cut -d ' ' -f 2) sum=$(( $sum + $temp_num )) done echo "we get sum:$sum"

从结果中可以看出,如果文本中存在空格或者tab等,读取的时候遇到空格,tab,或者换行就会停止读取了。

预期的目的应该是遇到换行才停止读取,为了达到这个目的,可以通过IFS设置以下标记,在shell脚本的开头加上:

IFS=
\n'
!/bin/bash                                                                                     
IFS=
\n' sum=0 for line in $(cat test.txt) do echo "we get line: $line" temp_num=$(echo "$line" | cut -d ' ' -f 2) sum=$(( $sum + $temp_num )) done echo "we get sum:$sum"

得到的结果如下:

$ ./2.sh
we get line: 1 3
we get line: 2 4
we get line: 3 5
we get line: 4 7
we get sum:19

这样得到的结果就是正确的


让我们尝试再换一种方式:

!/bin/bash                                                                                     
sum=0
while read line
do
    echo "line $line"
    temp_num=$(echo "$line" | cut -d ' ' -f 2)
    sum=$(( $sum + $temp_num ))
done < test.txt
echo "we get sum: $sum"

这种方式也可以得到正确的结果

当然,我们也可以读取指定的某一个数列,使用以下这种方式:

!/bin/bash                                                                                     
sum=0
while read col1 col2
do
    echo "get num: $col2"
    sum=$(( $sum + $col2 ))
done < "test.txt"
echo "we get sum: $sum"

其中col1, col2就分别代表第一列,第二列,使用的时候,可以直接使用对应列的内容。


通过加上-r参数可以处理每一行中的转义字符

while read -r line

最后

在使用shell脚本进行逐行处理文本时,需要注意以下几种情况:

  • 行文本中有空格,tab
  • 行文本中有转义字符
  • 可以使用shellcheck 工具提前对shell脚本进行检查,纠正错误

相关推荐

Java程序员必备的Linux命令速查表

Java程序员必备的Linux命令速查表在Java开发的世界里,Linux就像一位默默支持的幕后英雄。作为一名Java开发者,掌握一些基本的Linux命令,不仅能提高工作效率,还能让你在团队中显得格外...

Linux 命令速查手册:这 30 个高频指令,拯救 90% 的运维小白!

在Linux系统的世界里,命令行是强大的武器。对于运维小白而言,掌握一些高频使用的Linux命令,能极大提升工作效率,轻松应对各种系统管理任务。今天,就为大家奉上精心整理的30个Linu...

linux磁盘管理相关命令(linux磁盘管理常用命令)

磁盘的使用情况会直接影响系统的性能,因此我们经常会用到以下命令,主要围绕:fdisk:磁盘分区df:文件系统的磁盘空间占用情况du:文件目录的磁盘空间占用情况查看磁盘关系lsblk查看磁盘分区情况fd...

第四章 Linux常用shell命令-4.5.磁盘管理

主要介绍一下跟磁盘管理相关命令,有比较多的内容摘抄自网络,如有侵权,请及时联系我删除:显示目前在Linux系统上的文件系统磁盘使用情况统计:df创建和维护分区表的程序:fdisk将磁盘分区或镜像挂...

Linux新手必备:20个高效命令轻松掌握!

Linux基本命令使用指南在现代计算机操作系统中,Linux因其开放性、灵活性和强大的功能,广泛应用于服务器和开发环境中。作为技术人员,掌握Linux的基本命令是非常重要的。在本文中,我们将重点介绍2...

每日必学Linux命令:ls命令(linux命令详解之ls命令)

ls命令是linux下最常用的命令。ls命令就是list的缩写缺省下ls用来打印出当前目录的清单如果ls指定其他目录那么就会显示指定目录里的文件及文件夹清单。通过ls命令不仅可以查看linux文件...

Linux系统dev和proc目录详解(linux dev/sr0)

简介:Linux系统里的/dev和/proc目录那可是相当重要的系统文件。在Linux系统中,/dev目录专门用来存放设备文件。不光有设备文件,系统里还有好多特殊功能也是通过设备的形式...

Linux切换目录之cd命令(linux切换指定目录)

1.基本概念1.1命令作用当我们在Linux系统上工作时,做得相当多的一项任务就是在不同的目录之间进行切换,这时就需要用到cd命令了。cd是"changedirectory"的首...

Linux切换目录(cd命令)(linux如何切换到目录)

cd命令,是ChangeDirectory的缩写,用来切换工作目录。Linux命令按照来源方式,可分为两种,分别是Shell内置命令和外部命令。所谓Shell内置命令,就是Shel...

MongoDB数据库的快速部署和启动(mongodb的使用教程)

一、Mongodb介绍常见数据库介绍关系数据库RDBMS设计表结构,通过SQL语句进行操作。连表关系常见的关系型数据库:mysqloracle(商业)DB2(IBM)sqlserver(微软...

5分钟学会网络服务搭建,飞凌i.MX9352 + Linux 6.1实战示例

在“万物互联”的技术浪潮下,网络服务已成为连接物理世界与数字世界的核心纽带,它不仅赋予了终端设备“开口说话”的能力,更构建了智能设备的开发范式。本文就将以飞凌嵌入式OK-MX9352-C开发板(搭载了...

centos安装geoserver并配置开机启动

前提条件:服务器已经安装了java环境一、下载下载地址:http://geoserver.org/release/maintain/下载后文件名为:geoserver-2.19.3-bin.zip二、...

开机启动流程(开机流程图)

grubandbootCentos5,6的开机启动流程grubCentos7的开机启动流程Centos5,6的开机启动流程initrd/initramfs一般存储在/boot目录下,以.img...

Linux cron服务概述(crontab服务)

cron是Linux/Unix系统中一个非常重要的后台服务(守护进程),用于在预定的时间间隔自动执行命令或脚本。它使得自动化重复性任务成为可能,例如日志清理、数据备份、系统维护等。1.cron...

CentOS 8利用rc.local进行开机自启动的配置

CentOS8利用rc.local进行开机自启动的配置CentOS8linux系统是不建议使用rc.local进行开机自启动的,建议创建systemdservice。我们为了方便以后多一个配置...