博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Sqoop hive数据导出到mysql
阅读量:4170 次
发布时间:2019-05-26

本文共 902 字,大约阅读时间需要 3 分钟。

Sqoop

Sqoop是一个开源的工具,能用来hadoop(或者说是hive)和关系型数据库(mysql)之间转输,可将数据从hive中导出到mysql,也能从mysql导入到hive。

Sqoop安装

下载sqoop,这里用的是1.4.7版本

http://apache.mirrors.pair.com/sqoop/1.4.7/

解压后,将sqoop安装地址添加到环境变量中

vim ~/.bashrc

export SQOOP_HOME=sqoop安装地址export path=$path:$SQOOP_HOME/bin

保存后,使用source ~/.bashrc

然后在sqoop的bin目录下,修改configure-sqoop

export HADOOP_HOME=hadoop安装地址export HIVE_HOME=hive安装地址

保存后,即可使用。

导入

将mysql数据导入到hdfs中

sqoop import --connect jdbc:mysql://localhost/test --username root --password 123 --table test_table -m 1

会在hadoop中生成对应的数据文件,默认目录在/user/用户名/

在hive中建表,表结构要跟数据对应,将数据文件跟表关联
如:

create table test_table(id int , name string);

hdfs将数据文件导入到hive表中

load data inpath '/user/hadoop/test_table' into table test_table;

导出

如上,假设hive和mysql中的表都已建好,要将hive中表的数据导出到mysql的表中。

sqoop export --connect jdbc:mysql://localhost/test --username root --password 123 --table test_table --export-dir /user/hive/test/test_table

转载地址:http://pukai.baihongyu.com/

你可能感兴趣的文章
如何修改leaflet聚合图的层级和样式
查看>>
三维分析之开敞度分析
查看>>
BIM+GIS应用的八大挑战
查看>>
.net实现.aspx页面自动加载.cs程序定义的变量并按照格式输出
查看>>
[Leetcode]最后一个单词的长度
查看>>
merges sort use c++
查看>>
插入排序用递归实现
查看>>
工作流审批平台-审批流程-指定审批部门
查看>>
商务智能-系统概述-数据图形方式
查看>>
软件项目管理系统-项目管理-模块定义-开发内容
查看>>
工作流审批平台-审批功能
查看>>
商务智能-基本方法-特征与角度
查看>>
软件项目管理系统-项目管理-模块定义-开发笔记
查看>>
工作流审批平台-业务申请-申请书一览
查看>>
商务智能-基本方法-数据钻取
查看>>
C++程序员技术需求规划(发展方向)
查看>>
嵌入式100题(017):malloc的底层实现
查看>>
嵌入式100题(018):在1G内存的计算机中能否malloc(1.2G)?为什么?
查看>>
嵌入式100题(019):指针与引用的相同和区别;如何相互转换?
查看>>
嵌入式100题(040):什么是三次握手
查看>>