json_filter/filter.go

// Package filter ...
//
// Description : filter ...
//
// Author : go_developer@163.com<白茶清欢>
//
// Date : 2022-07-04 17:47
package filter

import (
	"encoding/json"
	"fmt"
	"git.zhangdeman.cn/zhangdeman/consts"
	"git.zhangdeman.cn/zhangdeman/serialize"
	"git.zhangdeman.cn/zhangdeman/wrapper"
	"reflect"
	"strings"

	"github.com/tidwall/gjson"
	"github.com/tidwall/sjson"

	"errors"
)

// NewFilter 过滤器实例
//
// Author : go_developer@163.com<白茶清欢>
//
// Date : 11:54 2022/7/4
func NewFilter(sourceData string, filterRuleList []MapRule) *filter {
	return &filter{
		sourceData:     sourceData,
		formatResult:   "{}",
		filterRuleList: filterRuleList,
	}
}

// filter 数据过滤
//
// Author : go_developer@163.com<白茶清欢>
//
// Date : 11:58 2022/7/4
type filter struct {
	sourceData     string
	formatResult   string
	filterRuleList []MapRule
}

// Deal ...
//
// Author : go_developer@163.com<白茶清欢>
//
// Date : 11:59 2022/7/4
func (f *filter) Deal() error {
	var (
		err       error
		formatVal any
	)

	for _, rule := range f.filterRuleList {
		if f.IsArray(rule) {
			// 对于list的处理
			if err = f.handleArray(rule); nil != err {
				return err
			}
			continue
		}
		sourceResult := gjson.Get(f.sourceData, rule.SourcePath)
		if formatVal, err = f.getValue(rule.DataType, sourceResult, rule.DefaultValue); nil != err {
			return fmt.Errorf("%s = %v can not convert to %s : %s", rule.SourcePath, sourceResult.Value(), rule.DataType, err.Error())
		}
		if reflect.TypeOf(formatVal).Kind() == reflect.Map {
			// 获取的数据是map类型, 处理数据覆盖
			// eg : 配置如下两个规则 process.id(string) 、process(map[string]any)
			// 若输入数据的process.id为int类型, 则格式化后的process.id必为 string, 应为 process.id 规则的控制更精细
			gjsonVal := gjson.Get(f.formatResult, rule.TargetPath)
			if gjsonVal.Exists() && gjsonVal.IsObject() {
				var (
					existRes  = map[string]any{}
					formatRes = map[string]any{}
				)
				// 已存在, 且是对象
				_ = serialize.JSON.UnmarshalWithNumber([]byte(gjsonVal.String()), &existRes)
				if err = serialize.JSON.Transition(formatVal, &formatRes); nil != err {
					return errors.New("conflict data path config deal fail : " + err.Error())
				}
				for k, v := range existRes {
					formatRes[k] = v
				}
				formatVal = formatRes // 重新赋值 formatVal
			}
		}
		if f.formatResult, err = sjson.Set(f.formatResult, rule.TargetPath, formatVal); nil != err {
			return err
		}
	}
	return nil
}

// IsArray 判断是否为数组
//
// Author : zhangdeman001@ke.com<张德满>
//
// Date : 17:48 2023/1/1
func (f *filter) IsArray(rule MapRule) bool {
	return strings.Contains(rule.SourcePath, "[]")
}

// handleArray 处理数组(最复杂的场景)
//
// Author : go_developer@163.com<白茶清欢>
//
// Date : 17:41 2023/1/1
func (f *filter) handleArray(rule MapRule) error {
	var (
		err error
	)

	sourcePathArray := strings.Split(rule.SourcePath, "[]")
	for idx, item := range sourcePathArray {
		sourcePathArray[idx] = strings.Trim(item, ".")
	}
	mapPathArray := strings.Split(strings.TrimRight(rule.TargetPath, ".[]"), "[]")
	for idx, item := range mapPathArray {
		mapPathArray[idx] = strings.Trim(item, ".")
	}
	if len(sourcePathArray) != len(mapPathArray) {
		if len(mapPathArray) != 1 {
			return errors.New("map rule is invalid")
		}
		// 提取某一个list下的字段, 组成一个list
		res := make([]string, 0)
		if len(sourcePathArray[0]) == 0 {
			f.getAllFinalData(&res, gjson.Parse(f.sourceData).Array(), sourcePathArray[1:])
		} else {
			f.getAllFinalData(&res, gjson.Get(f.sourceData, sourcePathArray[0]).Array(), sourcePathArray[1:])
		}
		if f.formatResult, err = sjson.Set(f.formatResult, mapPathArray[0], res); nil != err {
			return err
		}
		return nil
	}
	return nil
}

// extraFinalResult 提取全部最底层结果
//
// Author : zhangdeman001@ke.com<张德满>
//
// Date : 14:00 2023/1/2
func (f *filter) getAllFinalData(res *[]string, resultList []gjson.Result, pathArr []string) {
	if len(pathArr) == 1 {
		for _, item := range resultList {
			*res = append(*res, item.Get(pathArr[0]).String())
		}
		return
	}
	for _, item := range resultList {
		f.getAllFinalData(res, item.Array(), pathArr[1:])
	}
	return
}

// String 获取格式化之后的字符串
//
// Author : go_developer@163.com<白茶清欢>
//
// Date : 21:18 2022/12/31
func (f *filter) String() string {
	return f.formatResult
}

// Byte 获取格式化之后的字节数组
//
// Author : zhangdeman001@ke.com<张德满>
//
// Date : 21:18 2022/12/31
func (f *filter) Byte() []byte {
	return []byte(f.String())
}

// Parse 解析返回结果
//
// Author : go_developer@163.com<白茶清欢>
//
// Date : 21:20 2022/12/31
func (f *filter) Parse(receiver interface{}) error {
	if nil == receiver {
		return errors.New("receiver is nil")
	}
	return json.Unmarshal(f.Byte(), receiver)
}

// getValue 获取值
//
// Author : go_developer@163.com<白茶清欢>
//
// Date : 12:25 2022/7/4
func (f *filter) getValue(dataType string, sourceValue gjson.Result, defaultValue string) (any, error) {
	sourceValueStr := defaultValue
	if sourceValue.Exists() {
		str := sourceValue.String()
		if len(str) > 0 {
			sourceValueStr = str
		}
	}

	strVal := wrapper.String(sourceValueStr)

	switch dataType {
	case consts.DataTypeInt:
		intVal := strVal.ToInt()
		return intVal.Value, intVal.Err
	case consts.DataTypeUint:
		uintVal := strVal.ToUint64()
		return uintVal.Value, uintVal.Err
	case consts.DataTypeBool:
		boolVal := strVal.ToBool()
		return boolVal.Value, boolVal.Err
	case consts.DataTypeFloat:
		floatVal := strVal.ToFloat64()
		return floatVal.Value, floatVal.Err
	case consts.DataTypeString:
		return strVal.Value(), nil
	case consts.DataTypeAny:
		if sourceValue.Exists() {
			return sourceValue.Value(), nil
		}
		return defaultValue, nil
	case consts.DataTypeSliceAny:
		// 任意类型的list
		sliceVal := strVal.ToAnySlice()
		return sliceVal.Value, sliceVal.Err
	case consts.DataTypeSliceInt, consts.DataTypeSliceIntWithChar:
		// 任意类型的list
		if strings.HasPrefix(strVal.Value(), "[") && strings.HasPrefix(strVal.Value(), "]") {
			// 序列化之后的数组
			sliceVal := strVal.ToInt64Slice()
			return sliceVal.Value, sliceVal.Err
		}
		// 分隔的数组
		sliceVal := strVal.ToInt64Slice(",")
		return sliceVal.Value, sliceVal.Err
	case consts.DataTypeSliceUint, consts.DataTypeSliceUintWithChar:
		// 任意类型的list
		if strings.HasPrefix(strVal.Value(), "[") && strings.HasPrefix(strVal.Value(), "]") {
			// 序列化之后的数组
			sliceVal := strVal.ToUint64Slice()
			return sliceVal.Value, sliceVal.Err
		}
		// 分隔的数组
		sliceVal := strVal.ToUint64Slice(",")
		return sliceVal.Value, sliceVal.Err
	case consts.DataTypeSliceFloat, consts.DataTypeSliceFloatWithChar:
		// 任意类型的list
		if strings.HasPrefix(strVal.Value(), "[") && strings.HasPrefix(strVal.Value(), "]") {
			// 序列化之后的数组
			sliceVal := strVal.ToFloat64Slice()
			return sliceVal.Value, sliceVal.Err
		}
		// 分隔的数组
		sliceVal := strVal.ToFloat64Slice(",")
		return sliceVal.Value, sliceVal.Err
	case consts.DataTypeSliceBool, consts.DataTypeSliceBoolWithChar:
		// 任意类型的list
		if strings.HasPrefix(strVal.Value(), "[") && strings.HasPrefix(strVal.Value(), "]") {
			// 序列化之后的数组
			sliceVal := strVal.ToBoolSlice()
			return sliceVal.Value, sliceVal.Err
		}
		// 分隔的数组
		sliceVal := strVal.ToBoolSlice(",")
		return sliceVal.Value, sliceVal.Err
	case consts.DataTypeSliceString, consts.DataTypeSliceStringWithChar:
		// 任意类型的list
		if strings.HasPrefix(strVal.Value(), "[") && strings.HasPrefix(strVal.Value(), "]") {
			// 序列化之后的数组
			sliceVal := strVal.ToStringSlice()
			return sliceVal.Value, sliceVal.Err
		}
		// 分隔的数组
		sliceVal := strVal.ToStringSlice(",")
		return sliceVal.Value, sliceVal.Err
	case consts.DataTypeSliceSlice, consts.DataTypeMapAnyAny:
		return nil, errors.New(consts.DataTypeSliceSlice + " : data type is not support")
	case consts.DataTypeSliceMapStringAny:
		if !sourceValue.IsArray() {
			return nil, errors.New("data type is not array")
		}
		var res []map[string]any
		err := strVal.ToStruct(&res)
		return res, err
	case consts.DataTypeMapStrInt:
		if !sourceValue.IsObject() {
			return nil, errors.New("data type is not object")
		}
		var res map[string]int64
		err := strVal.ToStruct(&res)
		return res, err
	case consts.DataTypeMapStrUint:
		if !sourceValue.IsObject() {
			return nil, errors.New("data type is not object")
		}
		var res map[string]uint64
		err := strVal.ToStruct(&res)
		return res, err
	case consts.DataTypeMapStrFloat:
		if !sourceValue.IsObject() {
			return nil, errors.New("data type is not object")
		}
		var res map[string]float64
		err := strVal.ToStruct(&res)
		return res, err
	case consts.DataTypeMapStrBool:
		if !sourceValue.IsObject() {
			return nil, errors.New("data type is not object")
		}
		var res map[string]bool
		err := strVal.ToStruct(&res)
		return res, err
	case consts.DataTypeMapStrAny:
		if !sourceValue.IsObject() {
			return nil, errors.New("data type is not object")
		}
		var res map[string]any
		err := strVal.ToStruct(&res)
		return res, err
	case consts.DataTypeMapStrStr:
		if !sourceValue.IsObject() {
			return nil, errors.New("data type is not object")
		}
		var res map[string]string
		err := strVal.ToStruct(&res)
		return res, err
	case consts.DataTypeMapStrSlice:
		if !sourceValue.IsObject() {
			return nil, errors.New("data type is not object")
		}
		var res map[string][]any
		err := strVal.ToStruct(&res)
		return res, err
	default:
		return nil, errors.New(dataType + " is not support!")
	}
}