一、MD5介绍

MD5是MD5消息摘要算法的简称（英语：MD5 Message-Digest Algorithm），是一种广泛使用的密码散列函数，可以产生出一个128位（16字节）的散列值（即哈希值），用于确保信息传输的完整性。MD5由罗纳德·李维斯特设计，于1992年公开，用以取代MD4算法。这套算法的程序在RFC 1321 中被加以规范。
将数据（如一段文字）运算变为另一固定长度值，是散列算法的基础原理。
MD5已经被证实可以被碰撞破解。对于需要高度安全性的数据，专家一般建议改用其他算法，如SHA-2。

在CMD5上可以根据MD5密文查询出对应明文。

二、C++生成MD5

libmd5是计算md5值的C++开源库。这里对libmd5进行二次封装，方便调用，支持生成字符串、文件的MD5值。调用GetStringMd5生成字符串MD5；调用GetFileMd5生成文件MD5值，文件大小不受限制，但是文件越大，生成md5的耗时就越长。

Md5Maker.h

#ifndef __MD5_MAKER_34DFDR7_H__
#define __MD5_MAKER_34DFDR7_H__


#include <string>

namespace cpp4j
{
    namespace libmd5
    {
        #define UWORD32 unsigned int
        #define md5byte unsigned char

        struct MD5Context {
            UWORD32 buf[4];
            UWORD32 bytes[2];
            UWORD32 in[16];
        };

        void MD5Init(struct MD5Context *context);
        void MD5Update(struct MD5Context *context, md5byte const *buf, unsigned len);
        void MD5Final(unsigned char digest[16], struct MD5Context *context);
        void MD5Buffer (const unsigned char *buf,unsigned int len,unsigned char sig[16]);
        void MD5SigToString(unsigned char sig[16],char *str,int len);
    }

    std::string GetStringMd5(const std::string &str);
    std::string GetStringMd5(const void *pData, unsigned int iDataSize);
    std::string GetFileMd5(const std::string &strFilePath);
}

#endif

Md5Maker.cpp

#include "Md5Maker.h"

namespace cpp4j
{
    namespace libmd5
    {
        /*
        * This code implements the MD5 message-digest algorithm.
        * The algorithm is due to Ron Rivest.  This code was
        * written by Colin Plumb in 1993, no copyright is claimed.
        * This code is in the public domain; do with it what you wish.
        *
        * Equivalent code is available from RSA Data Security, Inc.
        * This code has been tested against that, and is equivalent,
        * except that you don't need to include two pages of legalese
        * with every copy.
        *
        * To compute the message digest of a chunk of bytes, declare an
        * MD5Context structure, pass it to MD5Init, call MD5Update as
        * needed on buffers full of bytes, and then call MD5Final, which
        * will fill a supplied 16-byte array with the digest.
        *
        * Changed so as no longer to depend on Colin Plumb's `usual.h' header
        * definitions; now uses stuff from dpkg's config.h.
        *  - Ian Jackson <ian@chiark.greenend.org.uk>.
        * Still in the public domain.
        */

#define HEX_STRING      "0123456789abcdef"      /* to convert to hex */

        int g_bigEndian = 0;
        int g_endianessDetected = 0;

        void detectEndianess()
        {
            int nl = 0x12345678;
            short ns = 0x1234;

            unsigned char *p = (unsigned char *)(&nl);
            unsigned char *sp = (unsigned char *)(&ns);

            if (g_endianessDetected) return;

            if ( p[0] == 0x12 && p[1] == 0x34 && p[2] == 0x56 && p[3] == 0x78 )
            {
                g_bigEndian = 1;
            }
            else if ( p[0] == 0x78 && p[1] == 0x56 && p[2] == 0x34 && p[3] == 0x12 )
            {
                g_bigEndian = 0;
            }
            else
            {
                g_bigEndian = *sp != 0x12;
            }

            g_endianessDetected = 1;
        }

        void byteSwap(UWORD32 *buf, unsigned words)
        {
            md5byte *p;

            if (!g_bigEndian) return;

            p = (md5byte *)buf;

            do
            {
                *buf++ = (UWORD32)((unsigned)p[3] << 8 | p[2]) << 16 |
                         ((unsigned)p[1] << 8 | p[0]);
                p += 4;
            }
            while (--words);
        }

#ifndef ASM_MD5

        /* The four core functions - F1 is optimized somewhat */

        /* #define F1(x, y, z) (x & y | ~x & z) */
#define F1(x, y, z) (z ^ (x & (y ^ z)))
#define F2(x, y, z) F1(z, x, y)
#define F3(x, y, z) (x ^ y ^ z)
#define F4(x, y, z) (y ^ (x | ~z))

        /* This is the central step in the MD5 algorithm. */
#define MD5STEP(f,w,x,y,z,in,s) \
    (w += f(x,y,z) + in, w = (w<<s | w>>(32-s)) + x)

        /*
         * The core of the MD5 algorithm, this alters an existing MD5 hash to
         * reflect the addition of 16 longwords of new data.  MD5Update blocks
         * the data and converts bytes into longwords for this routine.
         */
        void MD5Transform(UWORD32 buf[4], UWORD32 const in[16])
        {
            register UWORD32 a, b, c, d;

            a = buf[0];
            b = buf[1];
            c = buf[2];
            d = buf[3];

            MD5STEP(F1, a, b, c, d, in[0] + 0xd76aa478, 7);
            MD5STEP(F1, d, a, b, c, in[1] + 0xe8c7b756, 12);
            MD5STEP(F1, c, d, a, b, in[2] + 0x242070db, 17);
            MD5STEP(F1, b, c, d, a, in[3] + 0xc1bdceee, 22);
            MD5STEP(F1, a, b, c, d, in[4] + 0xf57c0faf, 7);
            MD5STEP(F1, d, a, b, c, in[5] + 0x4787c62a, 12);
            MD5STEP(F1, c, d, a, b, in[6] + 0xa8304613, 17);
            MD5STEP(F1, b, c, d, a, in[7] + 0xfd469501, 22);
            MD5STEP(F1, a, b, c, d, in[8] + 0x698098d8, 7);
            MD5STEP(F1, d, a, b, c, in[9] + 0x8b44f7af, 12);
            MD5STEP(F1, c, d, a, b, in[10] + 0xffff5bb1, 17);
            MD5STEP(F1, b, c, d, a, in[11] + 0x895cd7be, 22);
            MD5STEP(F1, a, b, c, d, in[12] + 0x6b901122, 7);
            MD5STEP(F1, d, a, b, c, in[13] + 0xfd987193, 12);
            MD5STEP(F1, c, d, a, b, in[14] + 0xa679438e, 17);
            MD5STEP(F1, b, c, d, a, in[15] + 0x49b40821, 22);

            MD5STEP(F2, a, b, c, d, in[1] + 0xf61e2562, 5);
            MD5STEP(F2, d, a, b, c, in[6] + 0xc040b340, 9);
            MD5STEP(F2, c, d, a, b, in[11] + 0x265e5a51, 14);
            MD5STEP(F2, b, c, d, a, in[0] + 0xe9b6c7aa, 20);
            MD5STEP(F2, a, b, c, d, in[5] + 0xd62f105d, 5);
            MD5STEP(F2, d, a, b, c, in[10] + 0x02441453, 9);
            MD5STEP(F2, c, d, a, b, in[15] + 0xd8a1e681, 14);
            MD5STEP(F2, b, c, d, a, in[4] + 0xe7d3fbc8, 20);
            MD5STEP(F2, a, b, c, d, in[9] + 0x21e1cde6, 5);
            MD5STEP(F2, d, a, b, c, in[14] + 0xc33707d6, 9);
            MD5STEP(F2, c, d, a, b, in[3] + 0xf4d50d87, 14);
            MD5STEP(F2, b, c, d, a, in[8] + 0x455a14ed, 20);
            MD5STEP(F2, a, b, c, d, in[13] + 0xa9e3e905, 5);
            MD5STEP(F2, d, a, b, c, in[2] + 0xfcefa3f8, 9);
            MD5STEP(F2, c, d, a, b, in[7] + 0x676f02d9, 14);
            MD5STEP(F2, b, c, d, a, in[12] + 0x8d2a4c8a, 20);

            MD5STEP(F3, a, b, c, d, in[5] + 0xfffa3942, 4);
            MD5STEP(F3, d, a, b, c, in[8] + 0x8771f681, 11);
            MD5STEP(F3, c, d, a, b, in[11] + 0x6d9d6122, 16);
            MD5STEP(F3, b, c, d, a, in[14] + 0xfde5380c, 23);
            MD5STEP(F3, a, b, c, d, in[1] + 0xa4beea44, 4);
            MD5STEP(F3, d, a, b, c, in[4] + 0x4bdecfa9, 11);
            MD5STEP(F3, c, d, a, b, in[7] + 0xf6bb4b60, 16);
            MD5STEP(F3, b, c, d, a, in[10] + 0xbebfbc70, 23);
            MD5STEP(F3, a, b, c, d, in[13] + 0x289b7ec6, 4);
            MD5STEP(F3, d, a, b, c, in[0] + 0xeaa127fa, 11);
            MD5STEP(F3, c, d, a, b, in[3] + 0xd4ef3085, 16);
            MD5STEP(F3, b, c, d, a, in[6] + 0x04881d05, 23);
            MD5STEP(F3, a, b, c, d, in[9] + 0xd9d4d039, 4);
            MD5STEP(F3, d, a, b, c, in[12] + 0xe6db99e5, 11);
            MD5STEP(F3, c, d, a, b, in[15] + 0x1fa27cf8, 16);
            MD5STEP(F3, b, c, d, a, in[2] + 0xc4ac5665, 23);

            MD5STEP(F4, a, b, c, d, in[0] + 0xf4292244, 6);
            MD5STEP(F4, d, a, b, c, in[7] + 0x432aff97, 10);
            MD5STEP(F4, c, d, a, b, in[14] + 0xab9423a7, 15);
            MD5STEP(F4, b, c, d, a, in[5] + 0xfc93a039, 21);
            MD5STEP(F4, a, b, c, d, in[12] + 0x655b59c3, 6);
            MD5STEP(F4, d, a, b, c, in[3] + 0x8f0ccc92, 10);
            MD5STEP(F4, c, d, a, b, in[10] + 0xffeff47d, 15);
            MD5STEP(F4, b, c, d, a, in[1] + 0x85845dd1, 21);
            MD5STEP(F4, a, b, c, d, in[8] + 0x6fa87e4f, 6);
            MD5STEP(F4, d, a, b, c, in[15] + 0xfe2ce6e0, 10);
            MD5STEP(F4, c, d, a, b, in[6] + 0xa3014314, 15);
            MD5STEP(F4, b, c, d, a, in[13] + 0x4e0811a1, 21);
            MD5STEP(F4, a, b, c, d, in[4] + 0xf7537e82, 6);
            MD5STEP(F4, d, a, b, c, in[11] + 0xbd3af235, 10);
            MD5STEP(F4, c, d, a, b, in[2] + 0x2ad7d2bb, 15);
            MD5STEP(F4, b, c, d, a, in[9] + 0xeb86d391, 21);

            buf[0] += a;
            buf[1] += b;
            buf[2] += c;
            buf[3] += d;
        }

#endif

        /*
         * Start MD5 accumulation.  Set bit count to 0 and buffer to mysterious
         * initialization constants.
         */
        void MD5Init(struct MD5Context *ctx)
        {
            detectEndianess();

            ctx->buf[0] = 0x67452301;
            ctx->buf[1] = 0xefcdab89;
            ctx->buf[2] = 0x98badcfe;
            ctx->buf[3] = 0x10325476;

            ctx->bytes[0] = 0;
            ctx->bytes[1] = 0;
        }

        /*
         * Update context to reflect the concatenation of another buffer full
         * of bytes.
         */
        void MD5Update(struct MD5Context *ctx, md5byte const *buf, unsigned len)
        {
            UWORD32 t;

            /* Update byte count */

            t = ctx->bytes[0];

            if ((ctx->bytes[0] = t + len) < t)
                ctx->bytes[1]++;    /* Carry from low to high */

            t = 64 - (t & 0x3f);    /* Space available in ctx->in (at least 1) */

            if (t > len)
            {
                memcpy((md5byte *)ctx->in + 64 - t, buf, len);
                return;
            }

            /* First chunk is an odd size */
            memcpy((md5byte *)ctx->in + 64 - t, buf, t);
            byteSwap(ctx->in, 16);
            MD5Transform(ctx->buf, ctx->in);
            buf += t;
            len -= t;

            /* Process data in 64-byte chunks */
            while (len >= 64)
            {
                memcpy(ctx->in, buf, 64);
                byteSwap(ctx->in, 16);
                MD5Transform(ctx->buf, ctx->in);
                buf += 64;
                len -= 64;
            }

            /* Handle any remaining bytes of data. */
            memcpy(ctx->in, buf, len);
        }

        /*
         * Final wrapup - pad to 64-byte boundary with the bit pattern
         * 1 0* (64-bit count of bits processed, MSB-first)
         */
        void MD5Final(md5byte digest[16], struct MD5Context *ctx)
        {
            int count = ctx->bytes[0] & 0x3f;   /* Number of bytes in ctx->in */
            md5byte *p = (md5byte *)ctx->in + count;

            /* Set the first char of padding to 0x80.  There is always room. */
            *p++ = 0x80;

            /* Bytes of padding needed to make 56 bytes (-8..55) */
            count = 56 - 1 - count;

            if (count < 0)      /* Padding forces an extra block */
            {
                memset(p, 0, count + 8);
                byteSwap(ctx->in, 16);
                MD5Transform(ctx->buf, ctx->in);
                p = (md5byte *)ctx->in;
                count = 56;
            }

            memset(p, 0, count);
            byteSwap(ctx->in, 14);

            /* Append length in bits and transform */
            ctx->in[14] = ctx->bytes[0] << 3;
            ctx->in[15] = ctx->bytes[1] << 3 | ctx->bytes[0] >> 29;
            MD5Transform(ctx->buf, ctx->in);

            byteSwap(ctx->buf, 4);
            memcpy(digest, ctx->buf, 16);
            memset(ctx, 0, sizeof(*ctx));   /* In case it's sensitive */
        }

        void MD5Buffer (const unsigned char *buf, unsigned int len, unsigned char sig[16])
        {
            struct MD5Context md5;
            MD5Init(&md5);
            MD5Update(&md5, buf, len);
            MD5Final(sig, &md5);
        }

        void MD5SigToString(unsigned char signature[16], char *str, int len)
        {
            unsigned char *sig_p;
            char          *str_p, *max_p;
            unsigned int  high, low;

            str_p = str;
            max_p = str + len;

            for (sig_p = (unsigned char *)signature;
                    sig_p < (unsigned char *)signature + 16;
                    sig_p++)
            {
                high = *sig_p / 16;
                low = *sig_p % 16;

                /* account for 2 chars */
                if (str_p + 1 >= max_p)
                {
                    break;
                }

                *str_p++ = HEX_STRING[high];
                *str_p++ = HEX_STRING[low];
            }

            /* account for 2 chars */
            if (str_p < max_p)
            {
                *str_p++ = '\0';
            }
        }
    }

    std::string GetStringMd5(const std::string &str)
    {
        unsigned char md5Sig[16] = {0};
        char szMd5[33] = {0};

        libmd5::MD5Buffer((const unsigned char *)str.c_str(), str.length(), md5Sig);
        libmd5::MD5SigToString(md5Sig, szMd5, 33);

        return szMd5;
    }

    std::string GetStringMd5(const void *pData, unsigned int iDataSize)
    {
        unsigned char md5Sig[16] = {0};
        char szMd5[33] = {0};

        libmd5::MD5Buffer((const unsigned char *)pData, iDataSize, md5Sig);
        libmd5::MD5SigToString(md5Sig, szMd5, 33);

        return szMd5;
    }

    std::string GetFileMd5(const std::string &strFilePath)
    {
        FILE *f = NULL;

        if(fopen_s(&f, strFilePath.c_str(), "rb"))
            return "";

        unsigned char szMd5Sig[16] = {0};
        char szMd5[33] = {0};
        libmd5::MD5Context md5Context;
        libmd5::MD5Init(&md5Context);

        size_t dwReadBytes = 0;
        unsigned char szData[1024] = {0};

        while((dwReadBytes = fread(szData, 1, 1024, f)) > 0)
        {
            libmd5::MD5Update(&md5Context, szData, dwReadBytes);
        }

        fclose(f);

        libmd5::MD5Final(szMd5Sig, &md5Context);
        libmd5::MD5SigToString(szMd5Sig, szMd5, 33);

        return szMd5;
    }
}

参考：https://zh.wikipedia.org/wiki/MD5

目录

一、生成某个文件的MD5值

二、生成多个文件的多个Md5值

三、补充相关知识点

·find命令

·xargs命令

一、生成某个文件的MD5值

MD5算法一般用于检查文件完整性，md5sum是校验文件内容，与文件名是否相同无关。

测试：修改过文件生成的MD5的值都是不一样的，即使后期有改回去，MD5值也是不一样的。

二、生成多个文件的多个Md5值

命令：这里把要生成的文件都放在同一个目录下，这个命令结合了find命令和xargs命令来生成多个文件的MD5值

find 目录 -type f -print0 | xargs -0 md5sum >> 2_md5.txt

三、补充相关知识点

·find命令

Linux find 命令

·xargs命令

xargs（英文全拼： eXtended ARGuments）是给命令传递参数的一个过滤器，也是组合多个命令的一个工具。xargs 可以将管道或标准输入（stdin）数据转换成命令行参数，也能够从文件的输出中读取数据。xargs 也可以将单行或多行文本输入转换为其他格式，例如多行变单行，单行变多行。xargs 默认的命令是 echo，这意味着通过管道传递给 xargs 的输入将会包含换行和空白，不过通过 xargs 的处理，换行和空白将被空格取代。

之所以能用到这个命令，关键是由于很多命令不支持|管道来传递参数，而日常工作中有有这个必要，所以就有了 xargs 命令，例如：

find /sbin -perm +700 |ls -l       #这个命令是错误的
find /sbin -perm +700 |xargs ls -l   #这样才是正确的

xargs 一般是和管道一起使用。

命令格式：

somecommand | xargs -item  command

实例：

·xargs 结合 find 使用

用 rm 删除太多的文件时候，可能得到一个错误信息：/bin/rm Argument list too long. 用 xargs 去避免这个问题：

find . -type f -name "*.log" -print0 | xargs -0 rm -f

xargs -0 将 \0 作为定界符。

统计一个源代码目录中所有 php 文件的行数：

find . -type f -name "*.php" -print0 | xargs -0 wc -l

查找所有的 jpg 文件，并且压缩它们：

find . -type f -name "*.jpg" -print | xargs tar -czvf images.tar.gz

·xargs 用作替换工具，读取输入数据重新格式化后输出。

定义一个测试文件，内有多行文本数据：

# cat test.txt

a b c d e f g
h i j k l m n
o p q
r s t
u v w x y z

多行输入单行输出：

# cat test.txt | xargs
a b c d e f g h i j k l m n o p q r s t u v w x y z

-n 选项多行输出：

# cat test.txt | xargs -n3

a b c
d e f
g h i
j k l
m n o
p q r
s t u
v w x
y z

-d 选项可以自定义一个定界符：

# echo "nameXnameXnameXname" | xargs -dX

name name name name

结合 -n 选项使用：

# echo "nameXnameXnameXname" | xargs -dX -n2

name name
name name

# cat arg.txt

aaa
bbb
ccc

·xargs 的一个选项 -I，使用 -I 指定一个替换字符串 {}，这个字符串在 xargs 扩展时会被替换掉，当 -I 与 xargs 结合使用，每一个参数命令都会被执行一次：

复制所有图片文件到 /data/images 目录下：

ls *.jpg | xargs -n1 -I {} cp {} /data/images

xargs后面的参数说明：

其他：

Linux echo命令

1.md5sum命令的作用

主要是用于验证网络文件传输的完整性，防止文件被篡改。主要是因为在网络环境不稳定的情况下，传输的文件很有可能会发生前后数据不一致的情况.

2.md5sum命令的原理

采用MD5报文摘要算法（128位） 计算和检查文件的校验和。只会逐位对文件的内容进行校验，与文件名无关。当文件内容相同时，md5值也是相同的。md5值是一个128位的二进制数据，转换成16进制则是32位的进制值。

注意: md5校验，有很小的概率不同的文件生成的md5可能相同，但大概率是可以大概检测文件的完整性.

3.手册 

NAME  md5sum - 计算检验MD5效验码

总览 (SYNOPSIS)
       ../src/md5sum [OPTION] [FILE]...
       ../src/md5sum [OPTION] --check [FILE]

描述 (DESCRIPTION)
       显示或检验MD5效验码. 如果没有FILE或者FILE是-时,就从标准输入读入.
       -b, --binary  以 二进制 模式 读入 文件 (DOS/Windows 下 默认)
       -c, --check   对 给定 的 文件 检验 MD5 效验码
       -t, --text    以 文本 模式 读入 文件 (默认)

 下面的两个选项只在检验效验码时用:
       --status  不显示 任何 输出, 用 返回码 表示 成功 与否
       -w, --warn 对于错误的MD5效验码行的格式发出警告
       --help     显示这个帮助然后退出
       --version  显示版本信息然后退出