gopkg/json_tool/gabs.go

// Package json_tool ...
//
// Description : json_tool ...
//
// Author : go_developer@163.com<张德满>
//
// Date : 2022/01/22 9:19 PM
package json_tool

import (
	"reflect"
	"strings"

	"github.com/pkg/errors"

	"github.com/tidwall/gjson"

	"github.com/Jeffail/gabs"
)

// FilterDataRule 参数过滤规则
//
// Author : go_developer@163.com<白茶清欢>
//
// Date : 2022/1/22 9:44 PM
type FilterDataRule struct {
	SourceKey    string      // 原始数据路径
	MapKey       string      // 提取后映射到的数据路径
	DefaultValue interface{} // 原始数据路径不存在时的默认值
	WithDefault  bool        // 是否使用默认值
}

// NewDataFilter 获取数据过滤方法实例
//
// Author : go_developer@163.com<白茶清欢>
//
// Date : 2022/1/22 9:50 PM
func NewDataFilter(source string, filterRule []*FilterDataRule) *DataFilter {
	return &DataFilter{
		source:     source,
		filterRule: filterRule,
	}
}

// DataFilter 数据过滤
//
// Author : go_developer@163.com<白茶清欢>
//
// Date : 2022/1/22 9:20 PM
type DataFilter struct {
	source         string
	filterRule     []*FilterDataRule
	itemKeyToSlice bool
}

// Filter 数据过滤
//
// Author : go_developer@163.com<白茶清欢>
//
// Date : 2022/1/22 9:36 PM
func (df *DataFilter) Filter() (string, error) {
	var (
		jsonObject *gabs.Container
		err        error
	)
	// 格式化映射规则
	df.formatRule()
	// 记录 obj => slice 的数据类型
	obg2slice := make(map[string]string)
	// 创建数据的根结点
	jsonObject = gabs.New()
	for _, item := range df.filterRule {
		if df.pathIsArrayValue(item.SourceKey) {
			// 数组, 特殊处理
			// 0. 判断目标路径是否为数组
			// 1. 判断数据源数组深度与目标数组深度是否一致
			sourcePathArr := strings.Split(item.SourceKey, ".[].")
			mapPathArr := strings.Split(item.MapKey, ".[].")
			if len(sourcePathArr) != len(mapPathArr) {
				return "", errors.New("slice转化原始数据深度与目标数据深度不一致")
			}
			continue
		}
		// 数据源路径不识数组, 多个key写入到同一个map key, 并且map key 不是以[]结尾, 自动格式化
		// 目标位置, 是一个数组
		if df.pathIsArrayValue(item.MapKey) {
			realMapKey := strings.ReplaceAll(item.MapKey, ".[]", "")
			if exist := jsonObject.Exists(realMapKey); !exist {
				if _, err = jsonObject.ArrayP(realMapKey); nil != err {
					return "", err
				}
			}
			valueResult := gjson.Get(df.source, item.SourceKey)
			dataType := df.getValueType(valueResult)
			if _, exist := obg2slice[realMapKey]; !exist {
				obg2slice[realMapKey] = dataType
			}
			if dataType != obg2slice[realMapKey] {
				return "", errors.New(realMapKey + " 预期写入的字段数据类型不一致")
			}
			if err = jsonObject.ArrayAppend(valueResult.Value(), realMapKey); nil != err {
				return "", err
			}
			continue
		}
		sourceSearchResult := gjson.Get(df.source, item.SourceKey)
		if !sourceSearchResult.Exists() {
			if item.WithDefault {
				if _, err = jsonObject.SetP(item.DefaultValue, item.MapKey); nil != err {
					return "", err
				}
			}
			continue
		}
		if _, err = jsonObject.SetP(sourceSearchResult.Value(), item.MapKey); nil != err {
			return "", err
		}
	}
	return jsonObject.String(), nil
}

// UserItemToSlice 支持多个独立的字段合并到slice中
//
// Author : go_developer@163.com<白茶清欢>
//
// Date : 3:27 PM 2022/1/24
func (df *DataFilter) UserItemToSlice() {
	df.itemKeyToSlice = true
}

// getValueType 获取数据类型
//
// Author : go_developer@163.com<白茶清欢>
//
// Date : 2022/1/23 12:45 AM
func (df *DataFilter) getValueType(valueResult gjson.Result) string {
	dataType := reflect.TypeOf(valueResult.Value()).String()
	if strings.Contains(dataType, "int") {
		return "int64"
	}
	if strings.Contains(dataType, "float") {
		return "float64"
	}
	return dataType
}

// pathIsArrayValue 判断路径是否为数组值
//
// Author : go_developer@163.com<白茶清欢>
//
// Date : 2022/1/23 12:56 AM
func (df *DataFilter) pathIsArrayValue(path string) bool {
	return strings.Contains(path, "[]")
}

// formatRule 格式化映射规则
//
// Author : go_developer@163.com<白茶清欢>
//
// Date : 2:43 PM 2022/1/24
func (df *DataFilter) formatRule() {
	mapKeyCnt := make(map[string]int)
	for _, item := range df.filterRule {
		// source 为数组, map 不是
		if df.pathIsArrayValue(item.SourceKey) {
			if !df.pathIsArrayValue(item.MapKey) {
				item.MapKey = item.MapKey + ".[]"
			} else {
				// source 是数组, map也是数组, 检测数组层级匹配
			}
		} else {
			if df.pathIsArrayValue(item.MapKey) {
				continue
			}
			// source 不是数组, map 也不是
			if !df.itemKeyToSlice {
				continue
			}
			mapKeyCnt[item.MapKey]++
		}
	}
	// 多个source指向一个map,自动转化为list
	for _, item := range df.filterRule {
		if mapKeyCnt[item.MapKey] > 1 {
			item.MapKey = item.MapKey + ".[]"
		}
	}
}