今天在调试sparksql的时候,查询分区信息,
SELECT T.PROD_INST_ID ,T.PROD_ID ,T.STATUS_CD ,T.FIRST_FINISH_DATE ,T.BEGIN_RENT_DATE ,T.PAYMENT_MODE_CD ,T.CREATE_DATE , T.ACC_NUM FROM CRM_DB.ITG_PROD_INST T WHERE DAY_ID='20170212' AND PROV_ID='842' 竟然报错:
deploy.SparkSubmit.main(SparkSubmit.scala)
java.lang.RuntimeException:Expected only partition pruning predicates: (isnotnull(PROV_ID#531) &&(PROV_ID#531 = 842))
但是在hive中查询是可以的。
后来经过一点一点测试发现,原来分区名称不能是大写,必须小写才行。
新闻热点
疑难解答