JAVA高级面试进阶训练营视频教程

admin

最近在做数据迁移的工作，使用到sqoop的导入和导出工具，具体操作是将hive当中的数据查询出来插入到新的表当中，然后将数据又导入到mysql的关系型数据库当中。

我将数据插入到hive将的一个新的表当中，但是那插入到一半的时候数据就插入不进去了，一直纳闷怎么可能插入一半就插不进去了那，说来也奇怪。于是就去看yarn上面的相关的日志发现报了如下的错误：

2018-09-10 08:28:21,009 INFO [IPC Server handler 14 on 60348] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Diagnostics report from attempt_1536298905044_0080_m_000001_0: Error: java.io.IOException: Can't export data, please check failed map task logs
    at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:122)
    at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:39)
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145)
    at org.apache.sqoop.mapreduce.AutoProgressMapper.run(AutoProgressMapper.java:64)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:793)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1917)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.io.IOException: com.mysql.jdbc.MysqlDataTruncation: Data truncation: Data too long for column 'BORROWERNAME' at row 88
    at org.apache.sqoop.mapreduce.AsyncSqlRecordWriter.write(AsyncSqlRecordWriter.java:233)
    at org.apache.sqoop.mapreduce.AsyncSqlRecordWriter.write(AsyncSqlRecordWriter.java:46)
    at org.apache.hadoop.mapred.MapTask$NewDirectOutputCollector.write(MapTask.java:664)
    at org.apache.hadoop.mapreduce.task.TaskInputOutputContextImpl.write(TaskInputOutputContextImpl.java:89)
    at org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.write(WrappedMapper.java:112)
    at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:90)
    ... 10 more

从上面的报错肯定是在数据插入到mysql当中的时候的字段太长，数据库的长度太短造成的。但是我原来的数据类型是varchar(100) 存一个名字的长度足够了啊。怎么就插入不进去了，于是我将长度再调大一点，发现还是不行。

那我只能改数据类型了，于是我将之前的数据类型由原来varchar(100)改为了text类型。然后再去执行sqoop的导出的时候，这个时候就可以了。所以遇到这种问题。处理的方式主要两种吧：

（1）检查数据的长度；

 （2）改数据的字段类型。

至于为什么要改成text类型。我再检查一下具体的字段长度。这里主要是想说解决这种问题的方法。