韦德国际_韦德国际1946官方网站_韦德国际1946手机版
做最好的网站

sqoop从hive导到mysql蒙受的标题计算,使用sqoop将数

日期:2019-07-02编辑作者:韦德国际1946手机版

hive导到mysql时经常会境遇一些难点,上边小编总结了一在动用sqoop从hive导到mysql时有个别广大难题计算。

mysql 驱动jar包

参照文书档案:https://segmentfault.com/a/1190000002532293
测量试验情状:
全然布满式安装Hadoop
Hive安装(使用暗中同意的derby存款和储蓄元数据)
sqoop从hive导到mysql蒙受的标题计算,使用sqoop将数据从mysql导入到hive。sqoop的安装
本来还是mysql已安装(使用iso文件创建地点客栈)

环境:

sqoop版本:1.4.6
hive版本:2.1.1
hadoop版本:2.7.3

hive 版本hive-0.11.0
sqoop 版本 sqoop-1.4.4.bin__hadoop-1.0.0
从hive导到mysql
mysql 表:
mysql> desc cps_activation;

运用版本

测量试验数据

起因:

orc表导出到mysql有的时候遭遇空字符串的标题平昔未曾时间整治,此番测验一下

———— ————- —— —– ——— —————-
| Field | Type | Null | Key | Default | Extra |
———— ————- —— —– ——— —————-
| id | int(11) | NO | PRI | NULL | auto_increment |
| day | date | NO | MUL | NULL | |
| pkgname | varchar(50) | YES | | NULL | |
| cid | varchar(50) | YES | | NULL | |
| pid | varchar(50) | YES | | NULL | |
| activation | int(11) | YES | | NULL | |
———— ————- —— —– ——— —————-
6 rows in set (0.01 sec)

CDH sqoop lib 包路线,sqoop 要求找到jar 包联接mysql 

MariaDB [(none)]> use testdb;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
MariaDB [testdb]> select * from emp;
 ------ --------- -------------- -------- ------ 
| id   | name    | deg          | salary | dept |
 ------ --------- -------------- -------- ------ 
| 1201 | gopal   | manmager     | 50000  | TP   |
| 1202 | manisha | Proof reader | 50000  | TP   |
| 1203 | kalil   | php dev      | 50000  | TP   |
 ------ --------- -------------- -------- ------ 
3 rows in set (0.00 sec)

MariaDB [testdb]> 

结论:

hive中为string类型的空字符串‘’数据导出到mysql中bigint只怕int类型字段时会报错。
空值null没问题。

 

/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/sqoop/lib/ 

导入数据

过程:

hive表

运用那一个版本的jar 来保管少出难点  mysql-connector-java-5.1.32-bin.jar

[root@master conf]# sqoop import --connect jdbc:mysql://localhost:3306/testdb --username root --password 000000 --table emp --fields-terminated-by 't' --lines-terminated-by "n" --hive-import --hive-overwrite --create-hive-table --hive-table emp --delete-target-dir

1、创造临时库分区orc表

CREATE TABLE temp.js_pianyuan_orc(
  dates string, 
  city_id string, 
  starttime string, 
  endtime string, 
  programid string, 
  device_id string, 
  ip string)
PARTITIONED BY ( 
  curdate string)
stored as orc;

本文由韦德国际发布于韦德国际1946手机版,转载请注明出处:sqoop从hive导到mysql蒙受的标题计算,使用sqoop将数

关键词: spark 大数据运维 hive总结