加密数据的模糊查询

1.场景分析

区别：比如说密码我们需要加密存储，一般使用的都是不可逆的慢hash算法，慢hash算法可以避免暴力破解（典型的用时间换安全性），在检索时我们既不需要解密也不需要模糊查找，直接使用密文完全匹配。但是手机号就不能这样做，因为手机号我们要查看原信息，并且对手机号还需要支持模糊查找。

2.如何对加密后的数据进行模糊查询

2.1 先解密再查询

2.2 明文映射表

2.3 数据库层面进行解密查询

2.4 分词密文映射表

package love.javaer.encrypt.demo;

import cn.hutool.crypto.SecureUtil;
import cn.hutool.crypto.symmetric.SymmetricAlgorithm;
import cn.hutool.crypto.symmetric.SymmetricCrypto;

import java.util.HashMap;
import java.util.Map;

/**
 * Hello world!
 *
 */
public class App {

    private static final String SECRET = "guaziguazi";

    private static final Integer SPLIT_SIZE = 4;

    private static final Map<String, String> MAP = new HashMap<>();
    static {
        MAP.put("15870090015", "Bh76FLu9h20=~js42iJPdg1A=~QyaE9gWK+Os=~3sWjlbJvQCQ=~YZaDebncAbA=~J/IMRcXa8ps=~d9KN686EAog=~dzLqG/kfvUU=~");
        MAP.put("15870090016", "Bh76FLu9h20=~js42iJPdg1A=~QyaE9gWK+Os=~3sWjlbJvQCQ=~YZaDebncAbA=~J/IMRcXa8ps=~d9KN686EAog=~ZN88RzoHaPw=~");
        MAP.put("15970090015", "uzw5wFjj21k=~IS4Yma89QhI=~T6g55VLvYw8=~3sWjlbJvQCQ=~YZaDebncAbA=~J/IMRcXa8ps=~d9KN686EAog=~dzLqG/kfvUU=~");
    }

    public static void main(String[] args) {

        String phoneKeywords = phoneKeywords("15870090015");
        System.out.println("phoneKeywords is: " + phoneKeywords);

        MAP.forEach((k, v) -> {
            if (v.endsWith(encrypt("0015") + "~")) {
                System.out.println("endsWith key is: " + k);
            }
        });

        MAP.forEach((k, v) -> {
            if (v.startsWith(encrypt("1587"))) {
                System.out.println("startsWith key is: " + k);
            }
        });
    }

    private static String phoneKeywords(String phone) {
        String keywords = keywords(phone, SPLIT_SIZE);
        System.out.println(keywords.length());
        return keywords;
    }

    private static String keywords(String word, int len) {
        StringBuilder sb = new StringBuilder();
        for (int i = 0; i < word.length(); i++) {
            int end = i + len;
            String sub1 = word.substring(i, end);
            sb.append(encrypt(sub1));
            sb.append("~");
            if (end == word.length()) {
                break;
            }
        }
        return sb.toString();
    }

    public static String decrypt(String val) {
        byte[] key = SecureUtil.generateKey(SymmetricAlgorithm.DES.getValue(), SECRET.getBytes()).getEncoded();
        SymmetricCrypto des = new SymmetricCrypto(SymmetricAlgorithm.DES, key);
        return des.decryptStr(val);
    }

    public static String encrypt(String val) {
        byte[] key = SecureUtil.generateKey(SymmetricAlgorithm.DES.getValue(), SECRET.getBytes()).getEncoded();
        SymmetricCrypto des = new SymmetricCrypto(SymmetricAlgorithm.DES, key);
        return des.encryptBase64(val);
    }
}

3.其他方案

淘宝密文字段检索方案：

阿里巴巴文字段检索方案：

• 支持模糊查询加密方式，产出的密文比较长；

• 支持的模糊查询子句长度必须大于等于4个英文/数字，或者2个汉字。不支持过短的查询(出于安全考虑)；

• 返回的结果列表中有可能有多余的结果，需要增加筛选的逻辑：对记录先解密，再筛选；

拼多多密文字段检索方案：

京东密文字段检索方案：

其他（算法层面）

数据库中字符数据的模糊匹配加密方法 - 夏冰加密软件技术博客

对于一些重要部门或敏感领域的数据库，存在一个严重的不安全因素，即原始数据以可读的形式存储在数据库中，这使得对于一些计算机内行或内部人员来说，可以轻易绕过用户标识和鉴定、存取控制、视图、审计等基本安...

https://www.jiamisoft.com/blog/6542-zifushujumohupipeijiamifangfa.html

支持快速查询的数据库如何加密 - 夏冰加密软件技术博客

为了解决数据库中加密字符串数据的查询问题，我们提出了为待加密的字段建立辅助索引字段的两阶段查询方法。索引字段的内容由原始数据的划分值和特征值两部分组成，它可以用采支持字符串数据的精确匹配查询和模糊...

https://www.jiamisoft.com/blog/5961-kuaisuchaxunshujukujiami.html

一种安全云存储方案设计（下）——基于Lucene的云端搜索与密文基础上的模糊查询 - ArthurQin - 博客园

在文件上传前本地加密用户文件的云存储策略极大提升了用户数据安全性，但也丧失了大部分搜索特性。为了实现密文基础上的搜索功能，系统建立了一个索引系统。索引系统的设计兼顾数据的安全隐私和云系统的高效便捷。用户的本地客户端在加密上传文件的同时分析本地未加密的数据明文，筛选索引关键字加密后写入索引，并上传与云

https://www.cnblogs.com/arthurqin/p/6307153.html

参考

被问懵了，加密后的数据如何进行模糊查询？

为了数据安全我们在开发过程中经常会对重要的数据进行加密存储，常见的有：密码、手机号、电话号码、详细地址、银行卡号、信用卡验证码等信息，这些信息对加解密的要求也不一样，比如说密码我们需要加密存储，一般使用的都是不可逆的慢hash算法，慢hash算法可以避免暴力破解（典型的用时间换安全性）

https://mp.weixin.qq.com/s/6vBbDy6Kn20uRziuSsvFBg

加密后的敏感字段模糊查询实现 · 语雀

敏感字段数据是加密存储在数据库的表中，如果需要对这些敏...

https://www.yuque.com/fcant/sql/od1pq9ay5ued03gt#aHkzN