Shell脚本中的关联数组

问题描述 投票:102回答:17

我们需要一个模拟关联数组的脚本或类似于Shell Scripting的数据结构的Map,任何主体?

bash shell hashtable associative-array
17个回答
21
投票

要添加到Irfan's answer,这里有一个更短更快的get()版本,因为它不需要迭代地图内容:

get() {
    mapName=$1; key=$2

    map=${!mapName}
    value="$(echo $map |sed -e "s/.*--${key}=\([^ ]*\).*/\1/" -e 's/:SP:/ /g' )"
}

2
投票

您可以使用动态变量名称,并让变量名称像hashmap的键一样工作。

例如,如果您有一个包含两列的输入文件,name,credit,如下例所示,并且您希望将每个用户的收入相加:

Mary 100
John 200
Mary 50
John 300
Paul 100
Paul 400
David 100

以下命令将使用动态变量作为键对所有内容求和,以map _ $ {person}的形式:

while read -r person money; ((map_$person+=$money)); done < <(cat INCOME_REPORT.log)

要阅读结果:

set | grep map

输出将是:

map_David=100
map_John=500
map_Mary=150
map_Paul=500

详细阐述这些技术,我正在GitHub上开发一个像HashMap对象shell_map一样工作的函数。

为了创建“HashMap实例”,shell_map函数能够以不同的名称创建自己的副本。每个新函数副本都有一个不同的$ FUNCNAME变量。 $ FUNCNAME然后用于为每个Map实例创建命名空间。

映射键是全局变量,形式为$ FUNCNAME_DATA_ $ KEY,其中$ KEY是添加到Map的键。这些变量是dynamic variables

Bellow我会给它一个简化版本,以便您可以使用它作为示例。

#!/bin/bash

shell_map () {
    local METHOD="$1"

    case $METHOD in
    new)
        local NEW_MAP="$2"

        # loads shell_map function declaration
        test -n "$(declare -f shell_map)" || return

        # declares in the Global Scope a copy of shell_map, under a new name.
        eval "${_/shell_map/$2}"
    ;;
    put)
        local KEY="$2"  
        local VALUE="$3"

        # declares a variable in the global scope
        eval ${FUNCNAME}_DATA_${KEY}='$VALUE'
    ;;
    get)
        local KEY="$2"
        local VALUE="${FUNCNAME}_DATA_${KEY}"
        echo "${!VALUE}"
    ;;
    keys)
        declare | grep -Po "(?<=${FUNCNAME}_DATA_)\w+((?=\=))"
    ;;
    name)
        echo $FUNCNAME
    ;;
    contains_key)
        local KEY="$2"
        compgen -v ${FUNCNAME}_DATA_${KEY} > /dev/null && return 0 || return 1
    ;;
    clear_all)
        while read var; do  
            unset $var
        done < <(compgen -v ${FUNCNAME}_DATA_)
    ;;
    remove)
        local KEY="$2"
        unset ${FUNCNAME}_DATA_${KEY}
    ;;
    size)
        compgen -v ${FUNCNAME}_DATA_${KEY} | wc -l
    ;;
    *)
        echo "unsupported operation '$1'."
        return 1
    ;;
    esac
}

用法:

shell_map new credit
credit put Mary 100
credit put John 200
for customer in `credit keys`; do 
    value=`credit get $customer`       
    echo "customer $customer has $value"
done
credit contains_key "Mary" && echo "Mary has credit!"

1
投票

遗憾的是我之前没有看到这个问题 - 我已经写了库shell-framework,其中包含地图(关联数组)。它的最后一个版本可以找到here

例:

#!/bin/bash 
#include map library
shF_PATH_TO_LIB="/usr/lib/shell-framework"
source "${shF_PATH_TO_LIB}/map"

#simple example get/put
putMapValue "mapName" "mapKey1" "map Value 2"
echo "mapName[mapKey1]: $(getMapValue "mapName" "mapKey1")"

#redefine old value to new
putMapValue "mapName" "mapKey1" "map Value 1"
echo "after change mapName[mapKey1]: $(getMapValue "mapName" "mapKey1")"

#add two new pairs key/values and print all keys
putMapValue "mapName" "mapKey2" "map Value 2"
putMapValue "mapName" "mapKey3" "map Value 3"
echo -e "mapName keys are \n$(getMapKeys "mapName")"

#create new map
putMapValue "subMapName" "subMapKey1" "sub map Value 1"
putMapValue "subMapName" "subMapKey2" "sub map Value 2"

#and put it in mapName under key "mapKey4"
putMapValue "mapName" "mapKey4" "subMapName"

#check if under two key were placed maps
echo "is map mapName[mapKey3]? - $(if isMap "$(getMapValue "mapName" "mapKey3")" ; then echo Yes; else echo No; fi)"
echo "is map mapName[mapKey4]? - $(if isMap "$(getMapValue "mapName" "mapKey4")" ; then echo Yes; else echo No; fi)"

#print map with sub maps
printf "%s\n" "$(mapToString "mapName")"

0
投票

我已经发现,正如已经提到的那样,最好的方法是将键/值写出来,然后使用grep / awk来检索它们。这听起来像各种不必要的IO,但磁盘缓存启动并使其非常高效 - 比使用上述方法之一(如基准测试显示)将它们存储在内存中要快得多。

这是一个我喜欢的快速,干净的方法:

hinit() {
    rm -f /tmp/hashmap.$1
}

hput() {
    echo "$2 $3" >> /tmp/hashmap.$1
}

hget() {
    grep "^$2 " /tmp/hashmap.$1 | awk '{ print $2 };'
}

hinit capitols
hput capitols France Paris
hput capitols Netherlands Amsterdam
hput capitols Spain Madrid

echo `hget capitols France` and `hget capitols Netherlands` and `hget capitols Spain`

如果你想强制每个键的单值,你也可以在hput()中做一些grep / sed动作。


0
投票

几年前我为bash编写了脚本库,它支持关联数组和其他功能(日志记录,配置文件,对命令行参数的扩展支持,生成帮助,单元测试等)。该库包含关联数组的包装器,并自动切换到适当的模型(内部用于bash4,模拟用于以前的版本)。它被称为shell-framework并在origo.ethz.ch上托管,但今天资源已关闭。如果有人仍然需要它,我可以与你分享。


0
投票

Shell没有像数据结构那样的内置映射,我使用原始字符串来描述这样的项目:

ARRAY=(
    "item_A|attr1|attr2|attr3"
    "item_B|attr1|attr2|attr3"
    "..."
)

提取项目及其属性时:

for item in "${ARRAY[@]}"
do
    item_name=$(echo "${item}"|awk -F "|" '{print $1}')
    item_attr1=$(echo "${item}"|awk -F "|" '{print $2}')
    item_attr2=$(echo "${item}"|awk -F "|" '{print $3}')

    echo "${item_name}"
    echo "${item_attr1}"
    echo "${item_attr2}"
done

这似乎并不比其他人的答案聪明,但容易理解为新人们的外壳。


0
投票

如果jq可用,则添加另一个选项:

export NAMES="{
  \"Mary\":\"100\",
  \"John\":\"200\",
  \"Mary\":\"50\",
  \"John\":\"300\",
  \"Paul\":\"100\",
  \"Paul\":\"400\",
  \"David\":\"100\"
}"
export NAME=David
echo $NAMES | jq --arg v "$NAME" '.[$v]' | tr -d '"' 

-1
投票

我用以下方法修改了Vadim的解决方案:

####################################################################
# Bash v3 does not support associative arrays
# and we cannot use ksh since all generic scripts are on bash
# Usage: map_put map_name key value
#
function map_put
{
    alias "${1}$2"="$3"
}

# map_get map_name key
# @return value
#
function map_get {
    if type -p "${1}$2"
        then
            alias "${1}$2" | awk -F "'" '{ print $2; }';
    fi
}

# map_keys map_name 
# @return map keys
#
function map_keys
{
    alias -p | grep $1 | cut -d'=' -f1 | awk -F"$1" '{print $2; }'
}

更改是map_get,以防止它在请求不存在的密钥时返回错误,虽然副作用是它也会默默地忽略丢失的映射,但它更适合我的用例,因为我只是想要检查一个键,以便跳过循环中的项目。


-1
投票

迟到的回复,但考虑以这种方式解决问题,使用bash内置读取,如下面的ufw防火墙脚本的代码片段中所示。该方法具有使用尽可能多的定界字段集(不仅仅是2)的优点。我们用过|分隔符,因为端口范围说明符可能需要冒号,即6001:6010。

#!/usr/bin/env bash

readonly connections=(       
                            '192.168.1.4/24|tcp|22'
                            '192.168.1.4/24|tcp|53'
                            '192.168.1.4/24|tcp|80'
                            '192.168.1.4/24|tcp|139'
                            '192.168.1.4/24|tcp|443'
                            '192.168.1.4/24|tcp|445'
                            '192.168.1.4/24|tcp|631'
                            '192.168.1.4/24|tcp|5901'
                            '192.168.1.4/24|tcp|6566'
)

function set_connections(){
    local range proto port
    for fields in ${connections[@]}
    do
            IFS=$'|' read -r range proto port <<< "$fields"
            ufw allow from "$range" proto "$proto" to any port "$port"
    done
}

set_connections

132
投票

如果可移植性不是您主要关注的另一个选择,则使用内置于shell的关联数组。这应该适用于bash 4.0(现在大多数主要发行版都可用,但不是在OS X上,除非你自己安装),ksh和zsh:

declare -A newmap
newmap[name]="Irfan Zulfiqar"
newmap[designation]=SSE
newmap[company]="My Own Company"

echo ${newmap[company]}
echo ${newmap[name]}

根据shell的不同,您可能需要使用typeset -A newmap而不是declare -A newmap,或者在某些情况下可能根本不需要。


84
投票

另一种非bash 4种方式。

#!/bin/bash

# A pretend Python dictionary with bash 3 
ARRAY=( "cow:moo"
        "dinosaur:roar"
        "bird:chirp"
        "bash:rock" )

for animal in "${ARRAY[@]}" ; do
    KEY=${animal%%:*}
    VALUE=${animal#*:}
    printf "%s likes to %s.\n" "$KEY" "$VALUE"
done

echo -e "${ARRAY[1]%%:*} is an extinct animal which likes to ${ARRAY[1]#*:}\n"

你也可以在那里抛出一个if语句进行搜索。 if [[$ var =〜/ blah /]]。管他呢。


32
投票

我认为你需要退一步思考一下地图或关联数组究竟是什么。它只是一种存储给定键值的方法,可以快速有效地恢复该值。您可能还希望能够遍历密钥以检索每个键值对,或删除键及其关联值。

现在,考虑一下您在shell脚本中一直使用的数据结构,甚至只是在没有编写脚本的shell中,它具有这些属性。难倒?这是文件系统。

真的,你需要在shell编程中拥有一个关联数组就是一个临时目录。 mktemp -d是你的关联数组构造函数:

prefix=$(basename -- "$0")
map=$(mktemp -dt ${prefix})
echo >${map}/key somevalue
value=$(cat ${map}/key)

如果您不想使用echocat,您可以随时写一些小包装纸;这些是模仿Irfan的,虽然它们只是输出值而不是像$value那样设置任意变量:

#!/bin/sh

prefix=$(basename -- "$0")
mapdir=$(mktemp -dt ${prefix})
trap 'rm -r ${mapdir}' EXIT

put() {
  [ "$#" != 3 ] && exit 1
  mapname=$1; key=$2; value=$3
  [ -d "${mapdir}/${mapname}" ] || mkdir "${mapdir}/${mapname}"
  echo $value >"${mapdir}/${mapname}/${key}"
}

get() {
  [ "$#" != 2 ] && exit 1
  mapname=$1; key=$2
  cat "${mapdir}/${mapname}/${key}"
}

put "newMap" "name" "Irfan Zulfiqar"
put "newMap" "designation" "SSE"
put "newMap" "company" "My Own Company"

value=$(get "newMap" "company")
echo $value

value=$(get "newMap" "name")
echo $value

编辑:这种方法实际上比使用提问者建议的sed的线性搜索快得多,并且更健壮(它允许键和值包含 - ,=,space,qnd“:SP:”)。它使用文件系统的事实并没有使它变慢;除非你调用sync,否则这些文件实际上永远不会保证写入磁盘;对于这样的临时文件,如果生命周期很短,那么它们中的许多文件永远不会被写入磁盘。

我使用以下驱动程序对Irfan的代码,Jerry修改Irfan的代码和我的代码做了一些基准测试:

#!/bin/sh

mapimpl=$1
numkeys=$2
numvals=$3

. ./${mapimpl}.sh    #/ <- fix broken stack overflow syntax highlighting

for (( i = 0 ; $i < $numkeys ; i += 1 ))
do
    for (( j = 0 ; $j < $numvals ; j += 1 ))
    do
        put "newMap" "key$i" "value$j"
        get "newMap" "key$i"
    done
done

结果:

    $ time ./driver.sh irfan 10 5

    real    0m0.975s
    user    0m0.280s
    sys     0m0.691s

    $ time ./driver.sh brian 10 5

    real    0m0.226s
    user    0m0.057s
    sys     0m0.123s

    $ time ./driver.sh jerry 10 5

    real    0m0.706s
    user    0m0.228s
    sys     0m0.530s

    $ time ./driver.sh irfan 100 5

    real    0m10.633s
    user    0m4.366s
    sys     0m7.127s

    $ time ./driver.sh brian 100 5

    real    0m1.682s
    user    0m0.546s
    sys     0m1.082s

    $ time ./driver.sh jerry 100 5

    real    0m9.315s
    user    0m4.565s
    sys     0m5.446s

    $ time ./driver.sh irfan 10 500

    real    1m46.197s
    user    0m44.869s
    sys     1m12.282s

    $ time ./driver.sh brian 10 500

    real    0m16.003s
    user    0m5.135s
    sys     0m10.396s

    $ time ./driver.sh jerry 10 500

    real    1m24.414s
    user    0m39.696s
    sys     0m54.834s

    $ time ./driver.sh irfan 1000 5

    real    4m25.145s
    user    3m17.286s
    sys     1m21.490s

    $ time ./driver.sh brian 1000 5

    real    0m19.442s
    user    0m5.287s
    sys     0m10.751s

    $ time ./driver.sh jerry 1000 5

    real    5m29.136s
    user    4m48.926s
    sys     0m59.336s


15
投票
hput () {
  eval hash"$1"='$2'
}

hget () {
  eval echo '${hash'"$1"'#hash}'
}
hput France Paris
hput Netherlands Amsterdam
hput Spain Madrid
echo `hget France` and `hget Netherlands` and `hget Spain`

$ sh hash.sh
Paris and Amsterdam and Madrid

7
投票

Bash4原生支持这一点。不要使用grepeval,它们是最丑陋的黑客。

有关示例代码的详细详细答案,请参阅:https://stackoverflow.com/questions/3467959


6
投票
####################################################################
# Bash v3 does not support associative arrays
# and we cannot use ksh since all generic scripts are on bash
# Usage: map_put map_name key value
#
function map_put
{
    alias "${1}$2"="$3"
}

# map_get map_name key
# @return value
#
function map_get
{
    alias "${1}$2" | awk -F"'" '{ print $2; }'
}

# map_keys map_name 
# @return map keys
#
function map_keys
{
    alias -p | grep $1 | cut -d'=' -f1 | awk -F"$1" '{print $2; }'
}

例:

mapName=$(basename $0)_map_
map_put $mapName "name" "Irfan Zulfiqar"
map_put $mapName "designation" "SSE"

for key in $(map_keys $mapName)
do
    echo "$key = $(map_get $mapName $key)
done

3
投票

对于Bash 3,有一个特殊的案例有一个很好的简单解决方案:

如果您不想处理大量变量,或者键只是无效的变量标识符,并且您的数组保证少于256个项,则可以滥用函数返回值。这个解决方案不需要任何子shell,因为值可以作为变量使用,也不需要任何迭代,以便性能尖叫。它也非常易读,几乎就像Bash 4版本一样。

这是最基本的版本:

hash_index() {
    case $1 in
        'foo') return 0;;
        'bar') return 1;;
        'baz') return 2;;
    esac
}

hash_vals=("foo_val"
           "bar_val"
           "baz_val");

hash_index "foo"
echo ${hash_vals[$?]}

请记住,在case中使用单引号,否则它会受到globbing的影响。从一开始就对静态/冻结哈希非常有用,但是可以从hash_keys=()数组中编写索引生成器。

注意,它默认为第一个,所以你可能想要留出第0个元素:

hash_index() {
    case $1 in
        'foo') return 1;;
        'bar') return 2;;
        'baz') return 3;;
    esac
}

hash_vals=("",           # sort of like returning null/nil for a non existent key
           "foo_val"
           "bar_val"
           "baz_val");

hash_index "foo" || echo ${hash_vals[$?]}  # It can't get more readable than this

警告:现在长度不正确。

或者,如果要保留从零开始的索引,可以保留另一个索引值并防止不存在的键,但它的可读性较差:

hash_index() {
    case $1 in
        'foo') return 0;;
        'bar') return 1;;
        'baz') return 2;;
        *)   return 255;;
    esac
}

hash_vals=("foo_val"
           "bar_val"
           "baz_val");

hash_index "foo"
[[ $? -ne 255 ]] && echo ${hash_vals[$?]}

或者,为了保持长度正确,偏移索引为1:

hash_index() {
    case $1 in
        'foo') return 1;;
        'bar') return 2;;
        'baz') return 3;;
    esac
}

hash_vals=("foo_val"
           "bar_val"
           "baz_val");

hash_index "foo" || echo ${hash_vals[$(($? - 1))]}

2
投票

现在回答这个问题。

以下脚本模拟shell脚本中的关联数组。它简单易懂。

Map只是一个永不停止的字符串,其keyValuePair保存为--name = Irfan --designation = SSE --company = My:SP:Own:SP:Company

对于值,空格将替换为':SP:'

put() {
    if [ "$#" != 3 ]; then exit 1; fi
    mapName=$1; key=$2; value=`echo $3 | sed -e "s/ /:SP:/g"`
    eval map="\"\$$mapName\""
    map="`echo "$map" | sed -e "s/--$key=[^ ]*//g"` --$key=$value"
    eval $mapName="\"$map\""
}

get() {
    mapName=$1; key=$2; valueFound="false"

    eval map=\$$mapName

    for keyValuePair in ${map};
    do
        case "$keyValuePair" in
            --$key=*) value=`echo "$keyValuePair" | sed -e 's/^[^=]*=//'`
                      valueFound="true"
        esac
        if [ "$valueFound" == "true" ]; then break; fi
    done
    value=`echo $value | sed -e "s/:SP:/ /g"`
}

put "newMap" "name" "Irfan Zulfiqar"
put "newMap" "designation" "SSE"
put "newMap" "company" "My Own Company"

get "newMap" "company"
echo $value

get "newMap" "name"
echo $value

编辑:刚添加另一种方法来获取所有密钥。

getKeySet() {
    if [ "$#" != 1 ]; 
    then 
        exit 1; 
    fi

    mapName=$1; 

    eval map="\"\$$mapName\""

    keySet=`
           echo $map | 
           sed -e "s/=[^ ]*//g" -e "s/\([ ]*\)--/\1/g"
          `
}
© www.soinside.com 2019 - 2024. All rights reserved.