Buddy-MLIR 项目详解（入门 MLIR 极佳选择）

以 MemRef Dialect 里面的 memref.dimOp 为例，编译测试方法如下：

$cdbuddy-mlir/examples/MLIRMemRef$makememref-dim-lower$makememref-dim-translate$makememref-dim-run

原始的 memref.dim长这样：

func.func@main(){%c0=arith.constant0:index%c1=arith.constant1:index%mem0=memref.alloc():memref<2x3xf32>%mem1=memref.cast%mem0:memref<2x3xf32>tomemref%dim0=memref.dim%mem0,%c0:memref<2x3xf32>%dim1=memref.dim%mem0,%c1:memref<2x3xf32>%dim2=memref.dim%mem1,%c0:memref%dim3=memref.dim%mem1,%c1:memrefvector.print%dim0:indexvector.print%dim1:indexvector.print%dim2:indexvector.print%dim3:indexmemref.dealloc%mem0:memref<2x3xf32>func.return}

使用 JIT Eagine 执行的输出：

2323

Buddy-MLIR 中提供了一个 2D 向量化卷积的 Pass conv-vectorization, 这个 Pass 实现了 Coefficients Broadcasting algorithm with Strip Mining 算法，然后 strip mining size 是可以配置的。这里将其配置为 256 进行演示：

$cdbuddy-mlir/build/bin$./buddy-opt../../examples/ConvOpt/conv2d.mlir-conv-vectorization="strip-mining=256"

原始的 conv2d.mlir长这样：

func.func@conv_2d(%arg0:memref,%arg1:memref,%arg2:memref){linalg.conv_2dins(%arg0,%arg1:memref,memref)outs(%arg2:memref)return}

经过上面的可执行命令后产生的 MLIR 文件结果如下：

#map0=affine_map<(d0)->(d0)>#map1=affine_map<(d0)->(d0ceildiv256)>module{func.func@conv_2d(%arg0:memref,%arg1:memref,%arg2:memref){%c0=arith.constant0:index%c1=arith.constant1:index%c256=arith.constant256:index%cst=arith.constant0.000000e+00:f32%0=vector.splat%cst:vector<256xf32>%1=memref.dim%arg1,%c0:memref%2=memref.dim%arg1,%c1:memref%3=memref.dim%arg2,%c0:memref%4=memref.dim%arg2,%c1:memrefaffine.for%arg3=#map0(%c0)to#map0(%3){affine.for%arg4=#map0(%c0)to#map0(%1){affine.for%arg5=#map0(%c0)to#map0(%2){affine.for%arg6=#map0(%c0)to#map1(%4){//对应下面的步骤1%5=affine.vector_load%arg1[%arg4,%arg5]:memref,vector<1xf32>%6=vector.broadcast%5:vector<1xf32>tovector<256xf32>%7=arith.muli%arg6,%c256:index%8=arith.subi%4,%7:index%9=arith.cmpisge,%8,%c256:indexscf.if%9{//对应下面的步骤二%10=affine.vector_load%arg0[%arg3+%arg4,%arg5+%arg6*256]:memref,vector<256xf32>//对应下面的步骤三%11=affine.vector_load%arg2[%arg3,%arg6*256]:memref,vector<256xf32>//对应下面的步骤四%12=vector.fma%10,%6,%11:vector<256xf32>//对应下面的步骤五affine.vector_store%12,%arg2[%arg3,%arg6*256]:memref,vector<256xf32>}else{%10=vector.create_mask%8:vector<256xi1>%11=arith.addi%arg3,%arg4:index%12=arith.muli%arg6,%c256:index%13=arith.addi%arg5,%12:index%14=vector.maskedload%arg0[%11,%13],%10,%0:memref,vector<256xi1>,vector<256xf32>intovector<256xf32>%15=vector.maskedload%arg2[%arg3,%12],%10,%0:memref,vector<256xi1>,vector<256xf32>intovector<256xf32>%16=vector.fma%14,%6,%15:vector<256xf32>vector.maskedstore%arg2[%arg3,%12],%10,%16:memref,vector<256xi1>,vector<256xf32>}}}}}return}}

初步看到这个变换可能还比较懵，我们结合这个算法和 Pass 实现进行理解一下。

Coefficients broadcasting（CB）算法是 2D 卷积的一种高效实现。Buddy-MLIR 基于 MLIR 基础设施完成了对这个算法的实现。实现这个算法涉及到的 MLIR Dialect 以及 Op 这里列一下：

然后 CB 算法的过程如下图所示：

注意输入是一个通道数为 1 的图片或者特征图，然后 kernel 的通道数也是1。算法的执行流程大概为：

注意，经过 conv-vectorizationPass之后产生的 MLIR 文件中有2个部分。另外一个部分使用了vector.create_mask和 vector.maskedstore，这对应了上图中特征图在每一行最后加载的元素字节不够 fma指令需要的 256Bit （这个256是通过 -conv-vectorization="strip-mining=256"指定的），所以需要一个 Mask 来补齐然后进行计算。

Buddy-MLIR 还提供了一个边缘检测示例来展示优化。 conv-vectorizationpass 负责使用我们的算法递降 linalg.conv_2d。 然后我们使用 mlir-translate和 llc工具生成目标文件。 最后，我们在 C++ 程序中调用这个 MLIR 卷积函数（在第二节会详细介绍这个过程）。再运行这个示例前需要保证 OpenCV 已经安装好了，安装方法上面介绍了。

这个例子还展示了 AutoConfig 机制的“魔力”，它可以帮助末指定strip mining size、ISA SIMD/Vector extension和 target triple。 您只需要启用 BUDDY_EXAMPLES选项，无需担心工具链配置。操作命令如下：

$cdbuddy-mlir/build$cmake-GNinja..-DBUDDY_EXAMPLES=ON-DBUDDY_ENABLE_OPENCV=ON$ninjaedge-detection

当然，我们也可以使用自己的配置值 -DBUDDY_CONV_OPT_STRIP_MINING（例如 64）和 -DBUDDY_OPT_ATTR（例如 avx2）。

仓库提供了一张图片，路径为 buddy-mlir/examples/ConvOpt/images/YuTu.png，这是构成中国嫦娥三号任务一部分的机器人月球车。然后运行下面的命令对其进行边缘检测。

$cdbin$./edge-detection../../examples/ConvOpt/images/YuTu.pngresult.png

Buddy-MLIR 还提供了 DIP Dialect 相关的展示例子，具体就是给一张图片进行 Constant Padding 或者 Replicate Padding 然后做卷积 。操作步骤和上面类似，这里就不再展示了。感兴趣的读者可以自行体验。链接：https://github.com/buddy-compiler/buddy-mlir/tree/main/examples#digital-image-processing-examples。

上面一节主要展示了在 Buddy-MLIR 中怎么把构建的应用跑起来，这一节我将带大家从 Buddy-MLIR 的结构出发来理解这个工程。工程的整体结构可以总结为：

我们主要把目光放在 include和 lib两个文件夹上，其它的文档，测试以及工具类的源码读者可以有选择的进行查看。

从上图可以看出，Buddy-MLIR 主要有三种 Dialect ，即：Bud Dialect，DIP Dialect 还有 RVV Dialect。对于 Dialect 的定义遵循了和 LLVM 上游 Dialect 一样的文件结构和方法，因此这里不再赘述。如果你想了解更多细节可以查看 https://github.com/BBuf/tvm_mlir_learn 仓库中的 MLIR：摩尔定律终结的编译器基础结构 论文解读 文章。

我们这里主要关注一下 Bud Dialect 中定义了哪些操作。从 buddy-mlir/include/Dialect/Bud/BudOps.td中可以看到 Bud Dialect 主要定义了 4 种类型的操作：

构建了基础操作之后，我们需要为 Bud Dialect 注册一个递降的 Pipline，也即 lib/Conversion/LowerBud/LowerBudPass.cpp中实现的 LowerBudPass。

对 bud::TestConstantOp的实现如下：

classBudTestConstantLowering:publicOpRewritePattern{public:usingOpRewritePattern::OpRewritePattern;LogicalResultmatchAndRewrite(bud::TestConstantOpop,PatternRewriter&rewriter)constoverride{autoloc=op.getLoc();//Gettypefromtheoriginoperation.TyperesultType=op.getResult().getType();//Createconstantoperation.AttributezeroAttr=rewriter.getZeroAttr(resultType);Valuec0=rewriter.create(loc,resultType,zeroAttr);rewriter.replaceOp(op,c0);returnsuccess();}};

可以看到在匹配到 bud::TestConstantOp后会将其重写为 mlir::arith::ConstantOp。我们可以在buddy-mlir/examples/BudDialect下执行 make bud-constant-lower。得到的结果为：

module{%i0=bud.test_constant:i32}=>module{%c0_i32=arith.constant0:i32}

其它的几个操作类似，都是将 Bud Dialect 定义的几个操作 Lower 到指定的几个上游 Dialect 上。这个 LowerBudPass 的具体实现为：

namespace{classLowerBudPass:publicPassWrapper>{public:MLIR_DEFINE_EXPLICIT_INTERNAL_INLINE_TYPE_ID(LowerBudPass)LowerBudPass()=default;LowerBudPass(constLowerBudPass&){}StringRefgetArgument()constfinal{return"lower-bud";}StringRefgetDescription()constfinal{return"LowerBudDialect.";}voidrunOnOperation()override;voidgetDependentDialects(DialectRegistry®istry)constoverride{//clang-formatoffregistry.insert();//clang-formaton}};}//endanonymousnamespace.voidLowerBudPass::runOnOperation(){MLIRContext*context=&getContext();ModuleOpmodule=getOperation();ConversionTargettarget(*context);//clang-formatofftarget.addLegalDialect();//clang-formatontarget.addLegalOp();RewritePatternSetpatterns(context);populateLowerBudConversionPatterns(patterns);if(failed(applyPartialConversion(module,target,std::move(patterns))))signalPassFailure();}

可以看到 Bud Dialect 的操作主要会被 Lower 到 arith::ArithmeticDialect, func::FuncDialect, vector::VectorDialect, memref::MemRefDialect 上。

从上面的介绍也可以看到，Buddy Dialect 实际上只是起一个演示作用，也许是教一下初学者怎么快速定义一个新的 Dialect 并接入 MLIR 的生态。

DIP Dialect 是数组图像处理的一个抽象。这里展示一下 DIP Dialect 目前定义的操作。

defDIP_ConstantPadding:I32EnumAttrCase<"ConstantPadding",0,"CONSTANT_PADDING">;defDIP_ReplicatePadding:I32EnumAttrCase<"ReplicatePadding",1,"REPLICATE_PADDING">;defDIP_BoundaryOption:I32EnumAttr<"BoundaryOption","Specifiesdesiredmethodofboundaryextrapolationduringimageprocessing.",[DIP_ConstantPadding,DIP_ReplicatePadding]>{letgenSpecializedAttr=0;letcppNamespace="::buddy::dip";}defDIP_BoundaryOptionAttr:EnumAttr;

DIP Dialect定义了唯一的一个操作 DIP_Corr2DOp ，这个 Op 在做 2D 卷积之前会先将输入进行 Padding 使得卷积后的输出特征图大小和输入一致。这里还涉及到了很多优化技巧，具体体现在 https://github.com/buddy-compiler/buddy-mlir/blob/main/docs/dip-opt.md 这篇文档以及 https://github.com/buddy-compiler/buddy-mlir/blob/main/lib/Conversion/LowerDIP/LowerDIPPass.cpp 这个 Pass 实现中。我没有完全理清楚这个算法的逻辑，所以这里就不再讲解这部分，感兴趣的读者可以自行研究。

上面介绍了 Buddy-MLIR 项目中定义的两种 Dialect ，这一节需要解答这样一个问题。即，我们如基于 Buddy-MLIR 构建的算法在 C/C++ 前端中进行调用来实现一个完整的应用程序呢？

为了实现这一目的，Buddy-MLIR 实现了一个为 C/C++ 前端服务的数据结构 MemRef，https://github.com/buddy-compiler/buddy-mlir/blob/main/include/Interface/buddy/core/Container.h 。

//MemRefdescriptor.//-Trepresentsthetypeoftheelements.//-Nrepresentsthenumberofdimensions.//-ThestorageorderisNCHW.templateclassMemRef{public://Constructorfromshape.MemRef(intptr_tsizes[N],Tinit=T(0));//Constructorfromdata.MemRef(constT*data,intptr_tsizes[N],intptr_toffset=0);//Copyconstructor.MemRef(constMemRef&other);//Copyassignmentoperator.MemRef&operator=(constMemRef&other);//Moveconstructor.MemRef(MemRef&&other)noexcept;//Moveassignmentoperator.MemRef&operator=(MemRef&&other)noexcept;//Desctrutor.~MemRef();//Getthedatapointer.T*getData();//Getthesizes(shape).constintptr_t*getSizes(){returnsizes;}//Getthestrides.constintptr_t*getStrides(){returnstrides;}//Gettherankofthememref.size_tgetRank()const{returnN;}//Getthesize(numberofelements).size_tgetSize()const{returnsize;}//Gettheelementatindex.constT&operator[](size_tindex)const;T&operator[](size_tindex);protected://Defaultconstructor.//Thisconstructorisdesingedforderiveddomain-specificconstructor.MemRef(){};//Setthestrides.//Computesthestridesofthetransposedtensorfortranspose=true.voidsetStrides();//Computetheproductofarrayelements.size_tproduct(intptr_tsizes[N])const;//Data.//The`aligned`and`allocated`memberspointtothesameaddress,`aligned`//memberisresponsibleforhandlingdata,and`allocated`memberis//resposibleforhandlingthememoryspace.T*allocated;T*aligned;//Offset.intptr_toffset=0;//Shape.intptr_tsizes[N];//Strides.intptr_tstrides[N];//Numberofelements.size_tsize;};

具体的实现在：https://github.com/buddy-compiler/buddy-mlir/blob/main/lib/Interface/core/Container.cpp 。我们这里主要梳理一下这个自定义的 MemRef 类是如何服务于 C/C++ 前端的。这里以边缘检测为例。核心代码实现如下：

#include#include#include#include"Interface/buddy/core/ImageContainer.h"#include"kernels.h"usingnamespacecv;usingnamespacestd;//Declaretheconv2dCinterface.extern"C"{void_mlir_ciface_conv_2d(Img*input,MemRef*kernel,MemRef*output);}intmain(intargc,char*argv[]){printf("Startprocessing...\n");//Readasgrayscaleimage.Matimage=imread(argv[1],IMREAD_GRAYSCALE);if(image.empty()){cout<<"Couldnotreadtheimage:"<input(image);//Definethekernel.float*kernelAlign=laplacianKernelAlign;intkernelRows=laplacianKernelRows;intkernelCols=laplacianKernelCols;intptr_tsizesKernel[2]={kernelRows,kernelCols};MemRefkernel(kernelAlign,sizesKernel);//Definetheoutput.intoutputRows=image.rows-kernelRows+1;intoutputCols=image.cols-kernelCols+1;intptr_tsizesOutput[2]={outputRows,outputCols};MemRefoutput(sizesOutput);//Runtheconvolutionandrecordthetime.clock_tstart,end;start=clock();//CalltheMLIRconv2dfunction._mlir_ciface_conv_2d(&input,&kernel,&output);end=clock();cout<<"Executiontime:"<<(double)(end-start)/CLOCKS_PER_SEC<<"s"<compression_params;compression_params.push_back(IMWRITE_PNG_COMPRESSION);compression_params.push_back(9);//WriteoutputtoPNG.boolresult=false;try{result=imwrite(argv[2],outputImage,compression_params);}catch(constcv::Exception&ex){fprintf(stderr,"ExceptionconvertingimagetoPNGformat:%s\n",ex.what());}if(result)cout<<"SavedPNGfile."<
注意这里的 Img 类的基类也是 MemRef类。
//Imagecontainer.//-Trepresentsthetypeoftheelements.//-Nrepresentsthenumberofdimensions.templateclassImg:publicMemRef{public:Img(cv::Matimage);};
然后在上面的应用程序中定义了 conv2d Op 的 C 前端函数：
//Declaretheconv2dCinterface.extern"C"{void_mlir_ciface_conv_2d(Img*input,MemRef*kernel,MemRef*output);}
这个全局的 C 函数会在执行 buddy-opt 的过程中被翻译成 llvm.call指令，即 CMakeLists.txt 中这一部分：
add_custom_command(OUTPUTconv2d.oCOMMAND${BUDDY_BINARY_DIR}/buddy-opt${BUDDY_EXAMPLES_DIR}/ConvOpt/conv2d.mlir-conv-vectorization="strip-mining=${SPLITING_SIZE}"-lower-affine-convert-scf-to-cf-convert-vector-to-llvm-convert-memref-to-llvm-convert-func-to-llvm="emit-c-wrappers=1"-reconcile-unrealized-casts|${LLVM_MLIR_BINARY_DIR}/mlir-translate--mlir-to-llvmir|${LLVM_MLIR_BINARY_DIR}/llc-mtriple=${BUDDY_TARGET_TRIPLE}-mattr=${BUDDY_OPT_ATTR}--filetype=obj-o${BUDDY_BINARY_DIR}/../examples/ConvOpt/conv2d.oDEPENDSbuddy-opt)
conv2d 操作的原始 MLIR 文件内容是：
func.func@conv_2d(%arg0:memref,%arg1:memref,%arg2:memref){linalg.conv_2dins(%arg0,%arg1:memref,memref)outs(%arg2:memref)return}
在执行 -convert-func-to-llvm="emit-c-wrappers=1" 这个 Pass 时会将上面的 Func Dialect 下的 conv2d 操作翻译为 LLVM IR 并将其包装为一个 llvm.call指令。这里的详细交互过程在 buddy-mlir/llvm/mlir/docs/TargetLLVMIR.md 这个文档中可以看到，也即 MLIR 提供了一个 C/C++ 的前端接口功能， Buddy-MLIR 应用了这个前端接口功能完成了端到端的应用构建。
上面获得了 LLVM IR，然后从 cmake 的命令可以看到又调用了 LLVM llc命令编译LLVM源文件到用于指定的体系结构的汇编语言。然后，汇编语言输出可以通过本机汇编器和链接器传递，以生成本机可执行文件。这里可以指定执行架构以及一些优化参数等。
0x3. buddy-opt 和 buddy-translate
将上面介绍的实现的 Pass 添加到 MLIR 的上游 Pass 管理机制中就实现了 buddy-opt 工具。
而 buddy-translate 则只扩展了一个 Buddy Dialect 到 LLVMIR 翻译的一项功能。
0x4. 总结
总的来说，Buddy-MLIR 是入门 MLIR 或者以 MLIR 为基础设施构建自己应用一个比较好的示例。推荐有需要的读者或者开发者学习和探索更多可能。本文没有讲任何 RVV Dialect 的相关知识，因为我目前也不太了解，希望后面洪滨可以讲讲这个 Dialect 的动机和细节。
0x5. 链接
https://github.com/buddy-compiler/buddy-mlir
 

关键词：         
       边缘检测 
              
       工程结构 
              
       提供了一个