如何从linux bash上的字符串计算crc32校验和

Question

我很久以前用crc32计算了stc的校验栏，但我不记得我是怎么做的。

echo -n "LongString" | crc32    # no output

我找到了一个用Python计算的解决方案[1]，但是没有直接的方法来计算字符串吗？

# signed
python -c 'import binascii; print binascii.crc32("LongString")'
python -c 'import zlib; print zlib.crc32("LongString")'
# unsigned
python -c 'import binascii; print binascii.crc32("LongString") % (1<<32)'
python -c 'import zlib; print zlib.crc32("LongString") % (1<<32)'

[1] How to calculate CRC32 with Python to match online results?

Answer 1

我自己遇到了这个问题，我不想去安装crc32的“麻烦”。我想出了这个，虽然它有点讨厌它应该适用于大多数平台，或者大多数现代的linux ...

echo -n "LongString" | gzip -c | tail -c8 | hexdump -n4 -e '"%u"'

只是提供一些技术细节，gzip uses crc32在最后8个字节和-c选项导致它输出到标准输出和tail去掉最后8个字节。

hexdump有点棘手，在我想出一些令人满意的东西之前我不得不用它一段时间，但这里的格式似乎正确解析gzip crc32作为一个32位数字：

• -n4仅占用gzip页脚的相关前4个字节。
• '"%u"'是您的标准fprintf格式字符串，它将字节格式化为单个无符号32位整数。请注意，此处有单引号嵌套的双引号。

如果需要十六进制校验和，可以将格式字符串更改为'"%08x"'（或大写十六进制的'"%08X"'），它将校验和格式化为8个字符（0填充）十六进制。

就像我说的那样，不是最优雅的解决方案，也许不是你想要在性能敏感场景中使用的方法，而是一种可能吸引人的方法，因为所使用的命令近乎普遍。

跨平台可用性的弱点可能是hexdump配置，因为我已经看到从平台到平台的变化，它有点繁琐。我建议如果你使用它，你应该尝试一些测试值，并与results of an online tool进行比较。

编辑正如@PedroGimeno在评论中所建议的那样，你可以将输出管道传输到od而不是hexdump，以获得相同的结果，而不需要繁琐的选项。 ... | od -t x4 -N 4 -A n for hex ... | od -t d4 -N 4 -A n for decimal。

Answer 2

或者只使用流程替换：

crc32 <(echo "LongString")

Answer 3

至少在Ubuntu上，/usr/bin/crc32是一个简短的Perl脚本，你可以从它的源代码中清楚地看到它可以做的就是打开文件。它没有从stdin读取的工具 - 它没有特殊处理-作为文件名，或-c参数或类似的东西。

因此，最简单的方法是使用它，并制作一个临时文件。

tmpfile=$(mktemp)
echo -n "LongString" > "$tmpfile"
crc32 "$tmpfile"
rm -f "$tmpfile"

如果你真的不想写一个文件（比如你的文件系统可以采用的数据更多 - 不太可能，如果它真的是一个“长字符串”，但为了参数......）你可以使用命名管道。对于一个简单的非随机访问阅读器，这与文件无法区分：

fifo=$(mktemp -u)
mkfifo "$fifo"
echo -n "LongString" > "$fifo" &
crc32 "$fifo"
rm -f "$fifo"

请注意&背景写入fifo的进程，因为它将阻塞直到下一个命令读取它。

要对临时文件创建更加挑剔，请参阅：https://unix.stackexchange.com/questions/181937/how-create-a-temporary-file-in-shell-script

---

或者，使用脚本中的内容作为编写自己的Perl单线程的示例（系统中存在crc32表示已安装Perl和必要的模块），或使用您已经使用的Python单行程序找到。

Answer 4

你的问题已经有了大部分答案。

echo -n 123456789 | python -c 'import sys;import zlib;print(zlib.crc32(sys.stdin.read())%(1<<32))'

正确地给了3421780262

我更喜欢hex：

echo -n 123456789 | python -c 'import sys;import zlib;print("%08x"%(zlib.crc32(sys.stdin.read())%(1<<32)))'
cbf43926

请注意，有几种CRC-32算法：http://reveng.sourceforge.net/crc-catalogue/all.htm#crc.cat-bits.32

Answer 5

这是一个纯粹的Bash实现：

#!/usr/bin/env bash

declare -i -a CRC32_LOOKUP_TABLE

__generate_crc_lookup_table() {
  local -i -r LSB_CRC32_POLY=0xEDB88320 # The CRC32 polynomal LSB order
  local -i index byte lsb
  for index in {0..255}; do
    ((byte = 255 - index))
    for _ in {0..7}; do # 8-bit lsb shift
      ((lsb = byte & 0x01, byte = ((byte >> 1) & 0x7FFFFFFF) ^ (lsb == 0 ? LSB_CRC32_POLY : 0)))
    done
    ((CRC32_LOOKUP_TABLE[index] = byte))
  done
}
__generate_crc_lookup_table
typeset -r CRC32_LOOKUP_TABLE

crc32_string() {
  [[ ${#} -eq 1 ]] || return
  local -i i byte crc=0xFFFFFFFF index
  for ((i = 0; i < ${#1}; i++)); do
    byte=$(printf '%d' "'${1:i:1}") # Get byte value of character at i
    ((index = (crc ^ byte) & 0xFF, crc = (CRC32_LOOKUP_TABLE[index] ^ (crc >> 8)) & 0xFFFFFFFF))
  done
  echo $((crc ^ 0xFFFFFFFF))
}

printf 'The CRC32 of: %s\nis: %08x\n' "${1}" "$(crc32_string "${1}")"

# crc32_string "The quick brown fox jumps over the lazy dog"
# yields 414fa339

测试：

bash ./crc32.sh "The quick brown fox jumps over the lazy dog"
The CRC32 of: The quick brown fox jumps over the lazy dog
is: 414fa339