矩阵相乘怎么用map实现

Question

如题所述

Answer 1

矩阵乘法的MapReduce实现

对于任意矩阵M和N，若矩阵M的列数等于矩阵N的行数，则记M和N的乘积为P=M*N，其中mik 记做矩阵M的第i行和第k列，nkj记做矩阵N的第k行和第j列，则矩阵P中，第i行第j列的元素可表示为公式（1-1）：

pij=(M*N)ij=∑miknkj=mi1*n1j+mi2*n2j+……+mik*nkj　　　　　　（公式1-1）由公式（1-1）可以看出，最后决定pij是(i,j)，所以可以将其作为Reducer的输入key值。为了求出pij分别需要知道mik和nkj，对于mik，其所需要的属性有矩阵M，所在行数i、所在列数k，和其本身的数值大小mik；同样对于nkj，其所需要的属性有矩阵N，所在行数k、所在列数j，和其本身数值大小nkj，这些属性值可由Mapper处理得到

Map函数：对于矩阵M中的每个元素mik ，产生一系列的key-value对<(i,j),(M,k,mik)>，其中，k=1,2……直到矩阵N的总列数，对于矩阵N的每个元素nkj，产生一系列的key-value对，<(i,j),(N,k,nkj)>，其中i=1,2……直到矩阵M的总行数

Reduce函数：对于每个键(i,j)相关联的值(M,k,mik)及(N,k,nkj)，根据相同的k值将mik和nkj分别放入不同的数组中，然后将两者的第k个元素抽取出来分别相乘，再累加，即可得到pij的值有M和N两个文件分别存放两个矩阵，文件内容的每一行的形式是“行号，列号\t元素值”，本例中，使用shell脚本生成数据

/data# cat matrix 
#!/bin/bash
for i in `seq 1 $1`
do
        for j in `seq 1 $2`
        do
                s=$(($RANDOM % 100))
                echo -e "$i,$j\t$s" >> M_$1_$2
        done
done

for i in `seq 1 $2`
do
        for j in `seq 1 $3`
        do
                s=$(($RANDOM%100))
                echo -e "$i,$j\t$s" >> N_$2_$3
        done
done