hadoop mysql中文乱码_Hive元数据存于mysql中文乱码解决-程序员宅基地

最近在搭一套Hive测试环境，使用mysql存储hive的元数据，然而当执行一个带有中文注释的建表文件时，出现了中文乱码的问题。实验过程中发现把整个数据库编码改成latin1或者Utf8都不行，只有把整个数据库设定为latin1而把要存储中文的数据表的编码设定为UTF8才能够解决。

出现问题：执行hive -f "createtable.sql"时说中文乱码不认识。

尝试1失败：将meta database(mysql)的编码全部设定为utf8

则报以下错误

——————-

FAILED: Error in metadata: javax.jdo.JDODataStoreException: An exception was thrown while adding/validating class(es) : Specified key was too long; max key length is 767 bytes

com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes

at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)

at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27)

at java.lang.reflect.Constructor.newInstance(Constructor.java:513)

at com.mysql.jdbc.Util.handleNewInstance(Util.java:411)

at com.mysql.jdbc.Util.getInstance(Util.java:386)

at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1052)

at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3609)

at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3541)

at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2002)

at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2163)

at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2618)

at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2568)

at com.mysql.jdbc.StatementImpl.execute(StatementImpl.java:842)

at com.mysql.jdbc.StatementImpl.execute(StatementImpl.java:681)

at org.apache.commons.dbcp.DelegatingStatement.execute(DelegatingStatement.java:264)

at org.datanucleus.store.rdbms.table.AbstractTable.executeDdlStatement(AbstractTable.java:730)

at org.datanucleus.store.rdbms.table.AbstractTable.executeDdlStatementList(AbstractTable.java:681)

at org.datanucleus.store.rdbms.table.AbstractTable.create(AbstractTable.java:402)

at org.datanucleus.store.rdbms.table.AbstractTable.exists(AbstractTable.java:458)

at org.datanucleus.store.rdbms.RDBMSStoreManager$ClassAdder.performTablesValidation(RDBMSStoreManager.java:2689)

at org.datanucleus.store.rdbms.RDBMSStoreManager$ClassAdder.addClassTablesAndValidate(RDBMSStoreManager.java:2503)

at org.datanucleus.store.rdbms.RDBMSStoreManager$ClassAdder.run(RDBMSStoreManager.java:2148)

at org.datanucleus.store.rdbms.AbstractSchemaTransaction.execute(AbstractSchemaTransaction.java:113)

at org.datanucleus.store.rdbms.RDBMSStoreManager.addClasses(RDBMSStoreManager.java:986)

at org.datanucleus.store.rdbms.RDBMSStoreManager.addClasses(RDBMSStoreManager.java:952)

at org.datanucleus.store.AbstractStoreManager.addClass(AbstractStoreManager.java:919)

at org.datanucleus.store.mapped.MappedStoreManager.getDatastoreClass(MappedStoreManager.java:356)

at org.datanucleus.store.rdbms.query.legacy.ExtentHelper.getExtent(ExtentHelper.java:48)

at org.datanucleus.store.rdbms.RDBMSStoreManager.getExtent(RDBMSStoreManager.java:1332)

at org.datanucleus.ObjectManagerImpl.getExtent(ObjectManagerImpl.java:4149)

at org.datanucleus.store.rdbms.query.legacy.JDOQLQueryCompiler.compileCandidates(JDOQLQueryCompiler.java:411)

at org.datanucleus.store.rdbms.query.legacy.QueryCompiler.executionCompile(QueryCompiler.java:312)

at org.datanucleus.store.rdbms.query.legacy.JDOQLQueryCompiler.compile(JDOQLQueryCompiler.java:225)

at org.datanucleus.store.rdbms.query.legacy.JDOQLQuery.compileInternal(JDOQLQuery.java:175)

at org.datanucleus.store.query.Query.executeQuery(Query.java:1628)

at org.datanucleus.store.rdbms.query.legacy.JDOQLQuery.executeQuery(JDOQLQuery.java:245)

at org.datanucleus.store.query.Query.executeWithArray(Query.java:1499)

at org.datanucleus.jdo.JDOQuery.execute(JDOQuery.java:266)

at org.apache.hadoop.hive.metastore.ObjectStore.getMTable(ObjectStore.java:775)

at org.apache.hadoop.hive.metastore.ObjectStore.getTable(ObjectStore.java:709)

at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.is_table_exists(HiveMetaStore.java:965)

at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.create_table_core(HiveMetaStore.java:887)

at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.access$600(HiveMetaStore.java:109)

at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler$15.run(HiveMetaStore.java:945)

at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler$15.run(HiveMetaStore.java:942)

at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.executeWithRetry(HiveMetaStore.java:307)

at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.create_table(HiveMetaStore.java:942)

at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.createTable(HiveMetaStoreClient.java:348)

at org.apache.hadoop.hive.ql.metadata.Hive.createTable(Hive.java:469)

at org.apache.hadoop.hive.ql.exec.DDLTask.createTable(DDLTask.java:3149)

at org.apache.hadoop.hive.ql.exec.DDLTask.execute(DDLTask.java:213)

at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:130)

at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:57)

at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1063)

at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:900)

at org.apache.hadoop.hive.ql.Driver.run(Driver.java:748)

at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:165)

at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:246)

at org.apache.hadoop.hive.cli.CliDriver.processReader(CliDriver.java:267)

at org.apache.hadoop.hive.cli.CliDriver.processFile(CliDriver.java:274)

at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:435)

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)

at java.lang.reflect.Method.invoke(Method.java:597)

at org.apache.hadoop.mapred.util.RunJar.main(RunJar.java:210)

at org.apache.hadoop.mapred.JobShell.run(JobShell.java:54)

at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)

at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)

at org.apache.hadoop.mapred.JobShell.main(JobShell.java:68)

NestedThrowables:

com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

——————-

尝试2失败：将meta server(mysql)的编码全部设定为latin1

则报以下错误：

———

[[email protected] sql]$ hive -f crazyant.sql

Hive history file=/tmp/crazyant/hive_job_log_crazyant_20130904.txt

Time taken: 2.064 seconds

FAILED: Error in metadata: javax.jdo.JDODataStoreException: Add request failed : INSERT INTO `COLUMNS` (`SD_ID`,`COMMENT`,`COLUMN_NAME`,`TYPE_NAME`,`INTEGER_IDX`) VALUES (?,?,?,?,?)

NestedThrowables:

java.sql.BatchUpdateException: Incorrect string value: ‘\xC2\x8A\xC2\xA8\xC3\xA7…’ for column ‘COMMENT’ at row 1

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

———

解决方案：数据库编码为latin1，COLUMNS表和TABLE_PARAMS表编码设定为UTF8

1、首先按照latin1编码建立hive的meta数据库；

2、修改hive-default.xml的连接编码为UTF8；

javax.jdo.option.ConnectionURL

jdbc:mysql://IP:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8

JDBC connect string for a JDBC metastore

3、然后进入数据库执行以下两条SQL语句：该语句将HIVE的COLUMNS 表的column 列改成UTF8编码

alter table COLUMNS modify column COMMENT varchar(256) character set utf8

该语句将HIVE的TABLE_PARAMS 表的PARAM_VALUE 列改成UTF8编码

alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8

执行完后用hive -f create_table.sql 中文乱码没有出现，进入数据库执行desc table；语句也没有出现乱码。

问题解决。

智能推荐

Spring Boot与消息(JMS、AMQP、RabbitMQ)-程序员宅基地

文章浏览阅读421次。为什么80%的码农都做不了架构师？>>> ..._@jmslistener rabitmq

转载：CPU 是如何制造出来的？高清图解_测试版cpu是怎么流出的?-程序员宅基地

文章浏览阅读414次。转载：https://mp.weixin.qq.com/s/VQb_mAFbStQXurtByBa0oQ_测试版cpu是怎么流出的?

【学相伴】Nginx最新教程通俗易懂-狂神说_遇见狂神说 nginx-程序员宅基地

文章浏览阅读1.5w次，点赞91次，收藏384次。Nginx - 学相伴分享人：秦疆（遇见狂神说）公司产品出现瓶颈？我们公司项目刚刚上线的时候，并发量小，用户使用的少，所以在低并发的情况下，一个jar包启动应用就够了，然后内部tomcat返回内容给用户。但是慢慢的，使用我们平台的用户越来越多了，并发量慢慢增大了，这时候一台服务器满足不了我们的需求了。于是我们横向扩展，又增加了服务器。这个时候几个项目启动在不同的服务器上，用户要访问，就需要增加一个代理服务器了，通过代理服务器来帮我们转发和处理请求。我们希望这个代理服务器可以帮助我们接_遇见狂神说 nginx

分包组包北斗通信_一种基于北斗的低功耗双向非实时通信方法-程序员宅基地

文章浏览阅读474次。一种基于北斗的低功耗双向非实时通信方法【技术领域】[0001]本发明涉及一种基于北斗的低功耗双向非实时通信方法，属于北斗系统通信技术领域。【背景技术】[0002]北斗卫星系统具备的短报文通信功能在水文、气象、海洋、林业领域的遥测系统已经广泛应用。但鉴于目前北斗通讯终端的功耗较大，发信频度受限的问题，这些遥测系统在应用北斗卫星作为数据传输载体时，一般只实现了野外遥测站向数据采集中心站的单向传输功能，..._北斗双向通信

windows域名映射_windows域名映射文件-程序员宅基地

文章浏览阅读981次，点赞2次，收藏2次。windows域名映射_windows域名映射文件

C++程序打包_c++打包-程序员宅基地

文章浏览阅读1.9k次。首先我用的vs2017对现有的项目进行打包处理，当然首先的有打包的工具就是下图的这个vs小工具，找不到的话可以在工具中打开扩展与更新，在里面查找相应的工具名之后就是在项目上新建一个setup项目，前提是你已经安装了上面的那个小工具，之后就是对项目进行添加要输出的项目，设为主输出，然后再第二个文件上进行存放该项目的快捷方式，这个是在桌面的上的，而第三个文件夹是在开始菜单栏里添加的在其中加入所需要的依赖以及项目再进行生成就会出现项目的安装的exe文件在你生成的项目下..._c++打包

随便推点

【论文精读】Temporally Refined Graph U-Nets for Human Shape and Pose Estimation From Monocular Videos-程序员宅基地

文章浏览阅读245次。摘要：这项工作解决了一个具有挑战性的问题，即从单目视频中估计完整的三维人体形状和姿态。由于现实世界的三维网格标记数据集有限，目前大多数的三维人体形状重建方法只关注单一的RGB图像，丢失了所有的时间信息。与此相反，我们提出了一种临时细化的图形网，包括图像级模块和视频级模块，来解决这一问题。imagelevel模块是用于从图像中进行人体形状和姿态估计的图U-Nets，其中图卷积神经网络(Graph CNN)有助于相邻顶点的信息交流，U-Nets架构扩大了每个顶点的接受域，融合了高层和低层特征。videolev_temporally refined graph u-nets for human shape and pose estimation from mon

ubuntu 安装完oracle之后没有sqlplus,Linux安装Oracle成功后，启动sqlplus问题集合（详解）...-程序员宅基地

文章浏览阅读2.0k次。注意：Oracle安装不能用root用户安装，必须新建用户安装1、 sqlplus命令不识别问题(bash ：sqlplus command not found)当你首次安装oracle后，也许会出现这种情况，第一次或许有点棘手，不知道如何改怎么办。这时不用着急，想想Linux里面的命令是如何运行的，如adduser等，我们发现是因为在/bin/文件夹下有这样的一个文件adduser，于是我们也想..._ubuntu中oracle提示sqlpus: command not found

elasticsearch-setup-passwords interactive_bash: elasticsearch-setup-passwords: command not f-程序员宅基地

文章浏览阅读2.6k次。elasticsearch-setup-passwords interactive[root@node-zwf ~]# su elasticsearch[elasticsearch@node-zwf root]$ cd /home/elasticsearch/elasticsearch-7.8.0/[elasticsearch@node-zwf elasticsearch-7.8.0]$ elasticsearch-setup-passwords interactiveba..._bash: elasticsearch-setup-passwords: command not found