final Dialog custom = new Dialog(this);

...

custom.cancel();

cancel()을 사용하기 위해서는 final 선언을 해줘야한다.