-
做项目过程中遇到的问题
2020-10-11 22:54:05做项目过程中遇到的问题 1.where(dt=‘2020-08-31’)一开始日期没有加引号,后面又做了好几个过滤,然后最后show的时候发现没有数据,一步一步往前找,最后发现问题是没有加引号.做项目过程中遇到的问题
1.where(dt=‘2020-08-31’)一开始日期没有加引号,后面又做了好几个过滤,然后最后show的时候发现没有数据,一步一步往前找,最后发现问题是没有加引号.
2: 有一次在hive中跑sql的时候,报了一个错,Interger不能转成Byte数组,但是我的sql中并没有哪里要将Interger转出Byte数组.
java.lang.Integer cannot be cast to [B
org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl: Diagnostics report from attempt_1599375175649_0007_m_000000_0: Error: java.io.IOException: java.io.IOException: java.lang.ClassCastException: java.lang.Integer cannot be cast to [B at org.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderNextException(HiveIOExceptionHandlerChain.java:121) at org.apache.hadoop.hive.io.HiveIOExceptionHandlerUtil.handleRecordReaderNextException(HiveIOExceptionHandlerUtil.java:77) at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.doNextWithExceptionHandler(HadoopShimsSecure.java:232) at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.next(HadoopShimsSecure.java:142) at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.moveToNext(MapTask.java:205) at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.next(MapTask.java:191) at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:52) at org.apache.hadoop.hive.ql.exec.mr.ExecMapRunner.run(ExecMapRunner.java:37) at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:465) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:349) at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:174) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1729) at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168) Caused by: java.io.IOException: java.lang.ClassCastException: java.lang.Integer cannot be cast to [B at org.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderNextException(HiveIOExceptionHandlerChain.java:121) at org.apache.hadoop.hive.io.HiveIOExceptionHandlerUtil.handleRecordReaderNextException(HiveIOExceptionHandlerUtil.java:77) at org.apache.hadoop.hive.ql.io.HiveContextAwareRecordReader.doNext(HiveContextAwareRecordReader.java:365) at org.apache.hadoop.hive.ql.io.CombineHiveRecordReader.doNext(CombineHiveRecordReader.java:167) at org.apache.hadoop.hive.ql.io.CombineHiveRecordReader.doNext(CombineHiveRecordReader.java:52) at org.apache.hadoop.hive.ql.io.HiveContextAwareRecordReader.next(HiveContextAwareRecordReader.java:116) at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.doNextWithExceptionHandler(HadoopShimsSecure.java:229) ... 12 more Caused by: java.lang.ClassCastException: java.lang.Integer cannot be cast to [B at org.apache.hadoop.hive.ql.io.parquet.vector.VectorizedListColumnReader.fillColumnVector(VectorizedListColumnReader.java:307) at org.apache.hadoop.hive.ql.io.parquet.vector.VectorizedListColumnReader.convertValueListToListColumnVector(VectorizedListColumnReader.java:340) at org.apache.hadoop.hive.ql.io.parquet.vector.VectorizedListColumnReader.readBatch(VectorizedListColumnReader.java:90) at org.apache.hadoop.hive.ql.io.parquet.vector.VectorizedMapColumnReader.readBatch(VectorizedMapColumnReader.java:57) at org.apache.hadoop.hive.ql.io.parquet.vector.VectorizedParquetRecordReader.nextBatch(VectorizedParquetRecordReader.java:414) at org.apache.hadoop.hive.ql.io.parquet.vector.VectorizedParquetRecordReader.next(VectorizedParquetRecordReader.java:357) at org.apache.hadoop.hive.ql.io.parquet.vector.VectorizedParquetRecordReader.next(VectorizedParquetRecordReader.java:93) at org.apache.hadoop.hive.ql.io.HiveContextAwareRecordReader.doNext(HiveContextAwareRecordReader.java:360) ... 16 more java.lang.Integer cannot be cast to [B
此错是hive中向量化优化引擎对parquet文件支持中的存在的一个bug
官方至今还没有真正解决解决方案:
要么关闭hive的向量化引擎优化开关
set hive.vectorized.execution.enabled=false;要么,将你的源表文件格式改成orc
-
做项目过程中遇到的问题及解决----UIGesture手势与UI控件点击的事件冲突解决
2015-10-15 10:44:15在做项目中为了简单的实现键盘随时能隐藏,就在self.view上添加了一个命名为content的ScrollView,然后再content内部需要填充一个TableView,这时候在content上增加了一个点击手势,来接收手势,隐藏键盘或者重置界面...在做项目中为了简单的实现键盘随时能隐藏,就在self.view上添加了一个命名为content的ScrollView,然后再content内部需要填充一个TableView,这时候在content上增加了一个点击手势,来接收手势,隐藏键盘或者重置界面。
上网搜索给了解决方案
这里面 是用来接收手势触发事件的,这里-(BOOL)gestureRecognizer:(UIGestureRecognizer *)gestureRecognizer shouldReceiveTouch:(UITouch *)touch { if ([NSStringFromClass([touch.view class]) isEqualToString:@"UITableViewCellContentView"]) {//如果当前是tableView //做自己想做的事 return NO; } return YES; }
UITableViewCellContentView换成你要点击的某个Viewj就好了 会劫持点击事件if ([NSStringFromClass([touch.view class]) isEqualToString:@"UITableViewCellContentView"]) {//如果当前是tableView //做自己想做的事 return NO; }
Return YES是事件穿透触发
Return No是不穿透 直接执行当前事件
-
做Java项目过程中遇到乱码问题的解决方案
2021-01-21 17:14:22在做java项目(特别是web项目)的过程中,中文乱码一直是我们开发人员比较头疼的问题,因为涉及到编码,解码,字符集,以及国际化等诸多问题,所以在着手解决的时候也缺乏相关的知识。我花了一些时间自己动手实验了... -
vue项目过程中遇到的问题
2019-05-11 13:13:26 -
做项目过程中遇到的一些坑
2019-12-28 17:06:31三方合作的项目评审时候要确定以下: 1 主功能有哪些,设置页面有哪些参数 2 UI什么时候给设计图纸 3 后台接口设计有没问题。 4 三方项目周期要一致,中间最好不要有其他任务。 理由: 1需求不明确,边做边改效率太...只要是项目一定要需求评审:
三方合作的项目评审时候要确定以下:
1 主功能有哪些,设置页面有哪些参数
2 UI什么时候给设计图纸
3 后台接口设计有没问题。
4 三方项目周期要一致,中间最好不要有其他任务。理由:
1需求不明确,边做边改效率太低。
2项目周期不一致,可能在需要别人配合的时候,其他一方会以有事为由拒绝。
3每哥公司文化不一样,项目周期不一样。创业小型公司项目周期短,大公司长。小公司效率高,大公司低。不商量项目周期,会影响其他项目进度。
4有UI设计图纸,工程师就不要自己想界面了最终项目接口文档,需求文档,定档封存。谁的锅就是谁的锅。
-
uni-app 导入项目过程中遇到的问题
2020-04-13 18:24:23搭建自己公司的项目框架的时候,先学习了一些别人的项目,导入HBuilder X中遇到一些问题,记录下问题: 1.导入后运行app 发现需要安装node-sass组件,直接在项目目录下运行: npm install node-sas... -
在做项目的过程中TabHost遇到的问题
2016-06-23 17:31:04我把Tabhost写在了HomeActivity中,继承Activity,怎么都显示不出来。解决方法:Splash后进入Tab**Activity,继承TabActivity。第一个标签进去HomeActivity。达到了想要的效果。其实很简单,但是进入了死胡同,没有... -
做Java Web项目过程中遇到的几个问题及解决方案
2016-06-07 17:15:23本文转载自: javax.servlet.ServletException:java.lang.NoClassDefFoundErr 怎么将int数据转换成String数据? Eclipse如何设置断点&断点处运行快捷键 本部分转载自:javax.servlet....【问题描述】J -
项目中遇到的问题
2016-03-25 18:59:18哇咔咔,终于开始了自己的项目,嘿嘿,现在把做项目过程中遇到的问题和一些技巧记下来。—————————–一开始遇到了appicon的问题,唉,连@2x和@3x都不知道是啥意思。然后往上面放图片的时候就一直报错。 ... -
maven项目做登录注册插入盐值(以及过程中遇到的问题)
2021-01-12 20:00:321,在做盐值的时候,数据库中字段给的少了出了以下系列的错: 解决方法:将表中代表盐值的字段做修改,字段长度设置的长一些 2,项目打不开问题,启动项目控制台空白,什么都没有内容如下: 解决方式:因为maven项目... -
Spring Boot项目重构过程中遇到的问题及解决思路
2020-08-16 21:21:38良心公众号关注不迷路本文主要内容:Spring Boot项目重构过程中遇到的问题及解决思路。背景:最近菜鸡正在给一个比较老的项目做重构升级。要知道,有两种场景下,自身技术能得到快速提升,... -
SSM框架搭建Maven项目过程中遇到的问题(一)
2019-12-17 18:44:08出现以下问题的前提是:使用SSM框架搭建的项目,通过Maven管理项目中相关jar包依赖。整个项目环境搭建完毕,并且各功能模块的junit单元测试均正常。但在运行 Maven test 时报错: 即,找不到数据访问层下mapper接口... -
项目中遇到的问题解决过程
2018-03-15 14:12:23第一个金额计算 1 浮点数运算我一直知道是不精确的,如果使用double进行...所以我后台Java采用BigDecimal运算类,BigDecimal在使用的过程中有很多源码上的使用陷阱,不一一叙述。后台保证了计算的准确性。前台Js运... -
项目开发过程中遇到的问题记录 --持续更新
2019-10-01 09:25:00心血来潮,计划把开发中遇到的问题做个记录,有些bug是很简单的小问题导致的,比如变量名拼写错误、jdk版本有误;也有些是使用的框架或技术存在缺陷。在这里统计记录,以便日后总结或遇到类似问题时参考。 一. 前段... -
做网络爬虫过程过程中遇到的问题
2016-03-07 18:12:00在大三上学期刚开始的课程设计中,我想做一个简单的爬虫。后来有一个问题就是我想将爬取出的链接先放入一个缓冲区,满了之后再放入待爬取队列,以减少硬盘IO时间,可是这样有一个问题,那就是 最后一次爬取时缓冲区... -
关于项目开发过程中遇到的问题
2009-12-12 17:49:151. 在将工程移植到新的Tomca webapps 目录下是,发布运行,发现版本不支持的问题:Bad version,可能原因是项目开发是使用的JDK版本不一致,一般都是JDK1.6与JDK1.5之间的错误。 2. 如果你开发项目是没有使用SVN,... -
Cocos2d-x项目过程中遇到的一些问题总结
2014-05-08 16:10:25在这个过程中,遇到了一些问题,在此特做一些总结,以免以后遇到类似的问题。与诸君共享,希望能够在诸君以后的开发中起到一点帮助,哪怕只是一点点,也就不负初衷了。 1.进入场景后没有出现预期控件移动的效果... -
java SSH + extj 项目过程中遇到的问题及注意点(二)
2015-10-21 15:47:201.SVN版本控制问题。...用久了才知道一些问题的快速解决办法,现记一下,供遇到同样问题的可怜人做个参考。 在myeclipse里有svn版本控制的文件会有各种各样的标记,这个一搜就知道都是什么意思了,了解这些标记很有 -
项目中遇到的问题解决过程3
2018-03-16 11:07:50普通的方法做代码很长。 第一次使用反射解决问题。每个字段都是一个字典。取出一条franinfo记录的时候,采用了反射获取对应列的记录值并 与对应的列一一匹配成Map,其中列名存入数组。这样所写的代码非常少。其中... -
项目重点、技术实现、实现过程中遇到的问题总结
2020-11-15 23:14:32开篇:转眼2020过去大半年了,从3月份到现在11月份,大大小小也做了七个项目了,包括...挺幸运遇到现在我的同事,我很多不会的,他都会跟我讲解,都不会的就会去一起找解决办法,然后讨论实行,想想,每次项目中不会 -
spring web thrift 项目搭建开发过程中遇到的问题总结
2019-08-01 11:05:49领导需要做一个大数据采集功能,使用thrift RPC 架构进行跨语言通信,先期只做服务端的接收报文,然后发往下游kafka, 因为考虑到需要附加控制模块,告警模块功能,综合考虑搭建一个web工程。 1、技术调研阶段写了... -
svn使用过程中遇到的问题
2018-01-16 22:25:00前言:记录一下svn使用的过程中遇到的问题 最近的公司使用的svn来管理项目,因为这个项目接手过来已经有至少一年多的工龄了,所以暂且还是也用svn来处理吧,如果要是做新项目的话,真心地希望使用Git来进行代码管理... -
软件项目开发过程中主要遇到的核心问题小结
2013-05-10 13:11:11最近在北京组织管理某银行的现金管理系统项目的开发,对软件项目开发过程中遇到的问题进行一些心得体会小结,怕时间长了没及时写下来时间久了被遗忘了,现在趁项目还在开发过程,把体会相对深刻时,感受到的一些问题... -
美食城外卖app 项目开发过程中遇到的几个问题,以及解决方法
2019-06-19 17:39:16项目中遇到的问题: 一:mysite 导航制作 2个问题 1:轮播导航页面显示 第一个问题 将vuex store种储存的state的categorys 商品分类数组获取后,变化为2维数组,显示导航几页,每页至多8个元素 2:延迟到界面数据...
-
基于SSM实现的房屋租赁系统【附源码】(毕设)
-
为什么网络爬虫Python离不开IP代理
-
sh.exe
-
【Apex】Apex 报错 System.StringException: Invalid id: 的解决办法 / 判断查找字段非空
-
C语言零基础入门(详细讲解)
-
MMM 集群部署实现 MySQL 高可用和读写分离
-
循环是递归-源码
-
浙大Python 第2章-5 求奇数分之一序列前N项和 (15 分)
-
Debookee for Mac(网络数据抓包分析工具)
-
oc3036.ocmod.zip
-
libFuzzer视频教程
-
COLOM冰洗|至鲜至净·高定未来
-
云南省发展生态旅游的对策研究
-
【Oracle】DDL、DML和DCL的区别与理解
-
地貌汉森-源码
-
中国传媒大学广播电视工程专业各学科课件、笔记、作业及实验整理
-
SpringData入门
-
应用数据科学峰会第5周-源码
-
pip配置国内镜像加速源
-
start-ssh-pageant.cmd