博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hive读取外表数据时跳过文件行首和行尾
阅读量:5099 次
发布时间:2019-06-13

本文共 544 字,大约阅读时间需要 1 分钟。

作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处

有时候用hive读取外表数据时,比如csv这种类型的,需要跳过行首或者行尾一些和数据无关的或者自动生成的多余信息,这里可以用属性设置来实现,快速mark下,建表的时候设置如下

Create external table testtable (name string, message string) row format delimited fields terminated by '\t' lines terminated by '\n' location '' tblproperties ("skip.header.line.count"="1", "skip.footer.line.count"="2");

对,就是上面sql中tblproperties的2个属性

“skip.heaer.line.count” 跳过文件行首多少行

“skip.footer.line.count”跳过文件行尾多少行

注意,这个属性的功能是hive0.13以后的都可以支持

参考资料:

转载于:https://www.cnblogs.com/cssdongl/p/6244010.html

你可能感兴趣的文章
HDU4405(期望DP)
查看>>
拉格朗日乘子法 那些年学过的高数
查看>>
vs code 的便捷使用
查看>>
Spring MVC @ResponseBody返回中文字符串乱码问题
查看>>
用户空间与内核空间,进程上下文与中断上下文[总结]
查看>>
JS 中的跨域请求
查看>>
JAVA开发环境搭建
查看>>
mysql基础语句
查看>>
Oracle中的rownum不能使用大于>的问题
查看>>
[Data Structure & Algorithm] 有向无环图的拓扑排序及关键路径
查看>>
cassandra vs mongo (1)存储引擎
查看>>
Visual Studio基于CMake配置opencv1.0.0、opencv2.2
查看>>
Vue音乐项目笔记(三)
查看>>
遍历Map对象
查看>>
计算剪贴板里仿制的代码行数
查看>>
MySQL索引背后的数据结构及算法原理
查看>>
#Leetcode# 209. Minimum Size Subarray Sum
查看>>
SDN第四次作业
查看>>
DM8168 DVRRDK软件框架研究
查看>>
django迁移数据库错误
查看>>