self-supervised learning before 2019

This is my blog.

Self-Supervised Learning has become an exciting direction in AI community.

  • Jitendra Malik: “Supervision is the opium of the AI researcher”
  • Alyosha Efros: “The AI revolution will not be supervised”
  • Yann LeCun: “self-supervised learning is the cake, supervised learning is the icing on the cake, reinforcement learning is the cherry on the cake”

So, this blog is about the classic algorithm in self-supervised learning before 2019.

(Not finished)

Deep InfoMax(Hjelm et al.2018)

Deep InfoMax 通过利用图像中的局部结构来学习图像表示, 这个方法中的对比任务是对一对图像中的全局特征局部特征进行分类。全局特征是CNN的最终输出(平面向量,Y),局部特征是编码器中的中间层的输出(M x M特征图)

Contrastive Predictive Coding (Oord et al., 2018)

Contrastive Predictive Coding (CPC) 是一个可以适用于文本、语音、视频、图像等任何形式数据的对比方法(图像可以看作为由像素或者图像块组成的序列)。

CPC通过对多个时间点共享的信息进行编码来学习特征表达,同时丢弃局部信息。这些特征被称为“慢特征”:随时间不会快速变化的特征。比如说:视频中讲话者的身份,视频中的活动,图像中的对象等。

转载请注明出处,谢谢。

愿 我是你的小太阳

买糖果去喽