scala json fastjson json4s

2020-08-19 22:34:34 阅读：253 来源： 互联网

标签：fastjson val alibaba json key json4s com

最近有个spark任务涉及到scala操作json，大概流程是这样：从hbase取数据，每条数据先parse json，然后删除一个多余的key，最后在弄成json字符串，输出到hdfs。

json大概长这样，{“@type”:{"version":"1.0.2","name":"application-content","data":[]},"key-to-remove":[{"blah":"more blah"}],"@value":[]}

逻辑不复杂，读取hbase的部分在此略去，json相关代码如下，用fastjson解析json

package dev.json

import com.alibaba.fastjson.JSON

object Course1 {
  def main(args: Array[String]): Unit = {
    val key = "key-to-remove"
val s =
      """
        |{"@type":{"version":"1.0.2","name":"application-content","data":[]},"key-to-remove":[{"blah":"more blah"}],"@value":[]}
        |""".stripMargin
    val obj = JSON.parseObject(s)
    obj.remove(key)
    val out = obj.toJSONString
    println(out)
  }
}

然后就是一顿报错

Exception in thread "main" com.alibaba.fastjson.JSONException: expect ':' at 2, actual "

at com.alibaba.fastjson.parser.DefaultJSONParser.parseObject(DefaultJSONParser.java:296)

at com.alibaba.fastjson.parser.DefaultJSONParser.parse(DefaultJSONParser.java:1401)

at com.alibaba.fastjson.parser.DefaultJSONParser.parse(DefaultJSONParser.java:1367)

at com.alibaba.fastjson.JSON.parse(JSON.java:183)

at com.alibaba.fastjson.JSON.parse(JSON.java:193)

at com.alibaba.fastjson.JSON.parse(JSON.java:149)

at com.alibaba.fastjson.JSON.parseObject(JSON.java:254)

at dev.json.Course1$.main(Course1.scala:12)

at dev.json.Course1.main(Course1.scala)

以前用fastjson从来没碰到这样的问题，一顿百度，然后才知道是里面包含了@type的key，autotype is not supported，阿里出于安全考虑，@type容易注入一些不安全操作，所以抛出错误。查了一些资料，总算是修复了，需要加上一些选项，把所在包添加白名单，从而关闭对@type的解析。代码如下：

package dev.json

import com.alibaba.fastjson.JSON
import com.alibaba.fastjson.parser.{Feature, ParserConfig}

object Course1 {
  // 添加包白名单
ParserConfig.getGlobalInstance.addAccept("dev.json")

  def main(args: Array[String]): Unit = {
    val key = "key-to-remove"
val s =
      """
        |{"@type":{"version":"1.0.2","name":"application-content","data":[]},"key-to-remove":[{"blah":"more blah"}],"@value":[]}
        |""".stripMargin
    // 关闭特殊key检查
val obj = JSON.parseObject(s, Feature.DisableSpecialKeyDetect)
    obj.remove(key)
    val out = obj.toJSONString
    println(out)
  }
}

然后结果就可以正常解析，输出如下：

{"@value":[],"@type":{"data":[],"name":"application-content","version":"1.0.2"}}

这次报错，加上前段时间因为fastjson漏洞事件，公司要求紧急升级fastjson版本，瞬间对fastjson印象不那么好了，说不定哪天就全面禁止在项目中使用fastjson。所以顺便尝试了jackson的scala版本，json4s。json4s使用起来也不那么顺手，但也够用。上面的功能，用json4s重写了一个版本。

package dev.json

import org.json4s.DefaultFormats
import org.json4s.JsonDSL._
import org.json4s.jackson.JsonMethods._

object Course2 {

  implicit val formats = DefaultFormats

  def main(args: Array[String]): Unit = {
    val key = "key-to-remove"
val s =
      """
        |{"@type":{"version":"1.0.2","name":"application-content","data":[]},"key-to-remove":[{"blah":"more blah"}],"@value":[]}
        |""".stripMargin
    val obj = parse(s)
    if (null != obj) {
      val obj2 = obj.removeField(_._1.equals(key))
      val out = compact(render(obj2))
      println(out)
    }
  }
}

标签：fastjson,val,alibaba,json,key,json4s,com
来源： https://www.cnblogs.com/henrytee/p/13532322.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

scala json fastjson json4s