13518219792
这篇文章主要讲解了“MapReduce操作MySQL的方法是什么”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“MapReduce操作Mysql的方法是什么”吧！
让客户满意是我们工作的目标，不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户，将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴，公司提供的服务项目有：域名申请、网络空间、营销软件、网站建设、吉木萨尔网站维护、网站推广。
hadoop技术推出一首曾遭到关系数据库研究者的挑衅和批评，认为MapReduce不具有关系数据库中的结构化数据存储和处理能力。为此，hadoop社区和研究人员做了多的努力，在hadoop0.19版支持MapReduce访问关系数据库，如：mysql，MySQL、PostgreSQL、Oracle 等几个数据库系统。
Hadoop访问关系数据库主要通过一下接口实现的：DBInputFormat类，包所在位置：org.apache.hadoop.mapred.lib.db 中。DBInputFormat 在 Hadoop 应用程序中通过数据库供应商提供的 JDBC接口来与数据库进行交互,并且可以使用标准的 SQL 来读取数据库中的记录。学习DBInputFormat首先必须知道二个条件。
在使用 DBInputFormat 之前,必须将要使用的 JDBC 驱动拷贝到分布式系统各个节点的$HADOOP_HOME/lib/目录下。
MapReduce访问关系数据库时，大量频繁的从MapReduce程序中查询和读取数据，这大大的增加了数据库的访问负载，因此，DBInputFormat接口仅仅适合读取小数据量的数据，而不适合处理数据仓库。要处理数据仓库的方法有：利用数据库的Dump工具将大量待分析的数据输出为文本，并上传的Hdfs中进行处理
DBInputFormat 类中包含以下三个内置类
protected class DBRecordReader implementsRecordReader
2.public static class NullDBWritable implements DBWritable,Writable:主要用来实现 DBWritable 接口。DBWritable接口要实现二个函数，第一是write，第二是readFileds，这二个函数都不难理解，一个是写，一个是读出所有字段。原型如下：
public void write(PreparedStatement statement) throwsSQLException;public void readFields(ResultSet resultSet) throws SQLException;
protected static class DBInputSplit implements InputSplit:主要用来描述输入元组集合的范围,包括 start 和 end 两个属性,start 用来表示第一条记录的索引号,end 表示最后一条记录的索引号.
下面对怎样使用 DBInputFormat 读取数据库记录进行详细的介绍,具体步骤如下:
DBConfiguration.configureDB (JobConf job, StringdriverClass, String dbUrl, String userName, String passwd)函数，配置JDBC 驱动,数据源,以及数据库访问的用户名和密码。MySQL 数据库的 JDBC 的驱动为“com.mysql.jdbc.Driver”,数据源为“jdbc:mysql://localhost/testDB”,其中testDB为访问的数据库。useName一般为“root”，passwd是你数据库的密码。
DBInputFormat.setInput(JobConf job, Class inputClass, String tableName, String conditions,String orderBy, String... fieldNames)，这个方法的参数很容易看懂，inputClass实现DBWritable接口。，string tableName表名， conditions表示查询的条件，orderby表示排序的条件，fieldNames是字段，这相当与把sql语句拆分的结果。当然也可以用sql语句进行重载。etInput(JobConf job, Class inputClass, String inputQuery, StringinputCountQuery)。
编写MapReduce函数,包括Mapper 类、Reducer 类、输入输出文件格式等,然后调用JobClient.runJob(conf)。
上面讲了理论，下面举个例子：假设 MySQL 数据库中有数据库student，假设数据库中的字段有“id”，“name”，“gender","number"。
第一步要实现DBwrite和write数据接口。代码如下：
public class StudentRecord implements Writable, DBWritable{ int id;
String name;
String gender;
String number;
@Override public void readFields(DataInput in) throws IOException { // TODO Auto-generated method stub
this.id = in.readInt(); this.gender = Text.readString(in); this.name = in.readString(); this.number = in.readString();
}
@Override public void write(DataOutput out) throws IOException { // TODO Auto-generated method stub
out.writeInt(this.id);
Text.writeString(out,this.name); out.writeInt(this.gender); out.writeInt(this.number);
}
@Override public void readFields(ResultSet result) throws SQLException { // TODO Auto-generated method stub
this.id = result.getInt(1); this.name = result.getString(2); this.gender = result.getString(3); this.number = result.getString(4);
}
@Override public void write(PreparedStatement stmt) throws SQLException{ // TODO Auto-generated method stub
stmt.setInt(1, this.id);
stmt.setString(2, this.name);
stmt.setString(3, this.gender);
stmt.setString(4, this.number);
}
@Override public String toString() { // TODO Auto-generated method stub
return new String(this.name + " " + this.gender + " " +this.number);
}第二步，实现Map和Reduce类
