セマンティックセグメ​ンテーションのデータ​セットに関して

セマンティックセグメンテーションのデータセットに関して質問させていただきます．

最近，MATLABを用いてセマンティックセグメンテーションを行おうと考えていました．そこで，ネットでダウンロードしたデータセット（ADE20ｋデータセット）を学習に用いようと考えているのですが，

お恥ずかしいことに学習をしたことがないので，どのようにデータセットを用いていけばよいのかわかりません．

元画像データと，ラベル付けされたデータをどのように学習に使用すればよろしいでしょうか．

ADE20ｋデータセットでは，クラス数が150と多く，また，同じ物体に同じ色でラベル付けされていないものもありました．

どのように機械学習では，各々のクラスなどを認識しているのでしょうか．

例えば，ある画像データでは，「河川のラベルに水色ラベル」，またある画像データでは「河川のラベルに茶色ラベル」など，このようにセマンティックセグメンテーションでは物体ごとにラベル付けされた色が異なるものでも学習に使えるのでしょうか．

長々してしまい申し訳ないのですが，有識者の方，どなたかご教授いただきたいです．