// Package json_tool ... // // Description : json_tool ... // // Author : go_developer@163.com<张德满> // // Date : 2022/01/22 9:19 PM package json_tool import ( "fmt" "reflect" "strings" "git.zhangdeman.cn/zhangdeman/gopkg/util" "github.com/pkg/errors" "github.com/tidwall/gjson" "github.com/Jeffail/gabs" ) // FilterDataRule 参数过滤规则 // // Author : go_developer@163.com<白茶清欢> // // Date : 2022/1/22 9:44 PM type FilterDataRule struct { SourceKey string // 原始数据路径 MapKey string // 提取后映射到的数据路径 DefaultValue interface{} // 原始数据路径不存在时的默认值 WithDefault bool // 是否使用默认值 } // NewDataFilter 获取数据过滤方法实例 // // Author : go_developer@163.com<白茶清欢> // // Date : 2022/1/22 9:50 PM func NewDataFilter(source string, filterRule []*FilterDataRule) *DataFilter { return &DataFilter{ source: source, filterRule: filterRule, hasDealDiffPath: make(map[string]string), } } // DataFilter 数据过滤 // // Author : go_developer@163.com<白茶清欢> // // Date : 2022/1/22 9:20 PM type DataFilter struct { source string filterRule []*FilterDataRule itemKeyToSlice bool hasDealDiffPath map[string]string } // Filter 数据过滤 // // Author : go_developer@163.com<白茶清欢> // // Date : 2022/1/22 9:36 PM func (df *DataFilter) Filter() (string, error) { var ( jsonObject *gabs.Container err error ) // 格式化映射规则 df.formatRule() // 记录 obj => slice 的数据类型 obg2slice := make(map[string]string) // 创建数据的根结点 jsonObject = gabs.New() for _, item := range df.filterRule { if df.pathIsArrayValue(item.SourceKey) { // 数组, 特殊处理 // 0. 判断目标路径是否为数组 // 1. 判断数据源数组深度与目标数组深度是否一致 sourcePathArr := strings.Split(item.SourceKey, ".[].") mapPathArr := strings.Split(item.MapKey, ".[].") if len(sourcePathArr) != len(mapPathArr) { // return "", errors.New("slice转化原始数据深度与目标数据深度不一致") } continue } // 数据源路径不识数组, 多个key写入到同一个map key, 并且map key 不是以[]结尾, 自动格式化 // 目标位置, 是一个数组 if df.pathIsArrayValue(item.MapKey) { realMapKey := strings.ReplaceAll(item.MapKey, ".[]", "") if exist := jsonObject.Exists(realMapKey); !exist { if _, err = jsonObject.ArrayP(realMapKey); nil != err { return "", err } } valueResult := gjson.Get(df.source, item.SourceKey) dataType := df.getValueType(valueResult) if _, exist := obg2slice[realMapKey]; !exist { obg2slice[realMapKey] = dataType } if dataType != obg2slice[realMapKey] { return "", errors.New(realMapKey + " 预期写入的字段数据类型不一致") } if err = jsonObject.ArrayAppend(valueResult.Value(), realMapKey); nil != err { return "", err } continue } sourceSearchResult := gjson.Get(df.source, item.SourceKey) if !sourceSearchResult.Exists() { if item.WithDefault { if _, err = jsonObject.SetP(item.DefaultValue, item.MapKey); nil != err { return "", err } } continue } if _, err = jsonObject.SetP(sourceSearchResult.Value(), item.MapKey); nil != err { return "", err } } return jsonObject.String(), nil } // UserItemToSlice 支持多个独立的字段合并到slice中 // // Author : go_developer@163.com<白茶清欢> // // Date : 3:27 PM 2022/1/24 func (df *DataFilter) UserItemToSlice() { df.itemKeyToSlice = true } // getValueType 获取数据类型 // // Author : go_developer@163.com<白茶清欢> // // Date : 2022/1/23 12:45 AM func (df *DataFilter) getValueType(valueResult gjson.Result) string { dataType := reflect.TypeOf(valueResult.Value()).String() if strings.Contains(dataType, "int") { return "int64" } if strings.Contains(dataType, "float") { return "float64" } return dataType } // pathIsArrayValue 判断路径是否为数组值 // // Author : go_developer@163.com<白茶清欢> // // Date : 2022/1/23 12:56 AM func (df *DataFilter) pathIsArrayValue(path string) bool { return strings.Contains(path, "[]") } // formatRule 格式化映射规则 // // Author : go_developer@163.com<白茶清欢> // // Date : 2:43 PM 2022/1/24 func (df *DataFilter) formatRule() { mapKeyCnt := make(map[string]int) for _, item := range df.filterRule { // source 为数组, map 不是 if df.pathIsArrayValue(item.SourceKey) { if !df.pathIsArrayValue(item.MapKey) { item.MapKey = item.MapKey + ".[]" } else { // source 是数组, map也是数组, 检测数组层级匹配 sourcePathArr := strings.Split(item.SourceKey, ".[].") mapPathArr := strings.Split(item.MapKey, ".[].") if len(sourcePathArr) == len(mapPathArr) { // 数组层级深度相同,无需特殊处理 continue } // 数组层级深度不同,重新对对齐数据 diffArr := sourcePathArr[0 : len(sourcePathArr)-len(mapPathArr)-1] df.dealDiffArr(diffArr) } } else { if df.pathIsArrayValue(item.MapKey) { continue } // source 不是数组, map 也不是 if !df.itemKeyToSlice { continue } mapKeyCnt[item.MapKey]++ } } // 多个source指向一个map,自动转化为list for _, item := range df.filterRule { if mapKeyCnt[item.MapKey] > 1 { item.MapKey = item.MapKey + ".[]" } } } // dealDiffArr 提取数据映射关系 // // Author : go_developer@163.com<白茶清欢> // // Date : 5:04 下午 2022/1/25 func (df *DataFilter) dealDiffArr(diffArr []string) { diffArrStr := strings.Join(diffArr, ".[].") if _, exist := df.hasDealDiffPath[diffArrStr]; exist { // 已经处理过, 不再重复处理 return } if len(diffArr) == 0 { return } // 没处理过, 开始处理 jsonResultList := df.getArrayData(df.source, diffArr) fmt.Println(jsonResultList) if len(jsonResultList) == 0 { return } newDataList := gabs.New() newPath := util.GenRandomString("", 8) for _, item := range jsonResultList { newDataList.ArrayAppend(item.String()) } JSONObject, _ := gabs.Consume(df.source) _, _ = JSONObject.SetP(newDataList.Data(), newPath) fmt.Println(123, JSONObject.String()) } // getArrayData 获取数据 // // Author : go_developer@163.com<白茶清欢> // // Date : 2:22 下午 2022/1/26 func (df *DataFilter) getArrayData(source string, pathArr []string) []gjson.Result { if len(pathArr) == 1 { return gjson.Get(source, pathArr[0]).Array() } resultList := make([]gjson.Result, 0) dataList := gjson.Get(source, pathArr[0]).Array() for idx := 0; idx < len(dataList); idx++ { resultList = append(resultList, df.getArrayData(gjson.Get(source, dataList[idx].String()).String(), pathArr[1:])...) } return resultList }