「マスキング」したのに、エリアをカラーシミュレーションできません。

エリアを「Alt」キーを押しながらクリックしてください。外周のみが緑ラインで表示される場合、エリアが作成されていません。
あらためて「選択」→「多角形ツール」を使ってエリアを囲み、「マスキング」→「エリア作成」を行ってください。
「エリア作成」操作の詳細は、《かんたんガイド》冊子やシステム内「ヘルプ」→「マニュアル」をご参照ください。