mayの使い方

I may go to the movies tomorrow.(明日映画を見に行くかもしれない)You may go now.(もう帰っていいよ)【推測】と【許可】の違いは、どのように見分ければいいのでしょうか?コツはありますか?