2016/05/02

属性サンプリング【結果の評価】Attribute Sampling【Auditor Judgement】

(暗記用の勝手な例えシリーズです)

あるテニス選手が、公式試合での第一サービスのコントロール力を評価しています。

3セットマッチで一試合のサービスゲーム数を12回とすると、週に3試合で年間に1800ゲーム。3年弱で5000の母集団となります。(サービスの成功率、フォールトしない率のみで評価、ポイントの勝敗は問いません。)

この選手は、サービスゲーム毎の第一サービスの成功率を70%に保てればサービスコントロールOKとしました。(1つのサービスゲームで10本の第一サービスを打つと7本が有効)

3年間の平均として、この選手のサービスゲームは、97.5%の確率でOKと発表されています。(サービスゲームの97.5%は、第一サービスが70%以上成功している。)
これをサンプリングでの評価により、スコアシートを検証し、現在のサービスコントロールは有効なのかを判定します。

母集団の推定には、AICPAのテーブルが標準として提供されています。

このテーブルから(*過誤採択のリスクを5%としたときの)サンプリング数ごとに実際に発生した逸脱率に、母集団を推定する際に考慮すべきサンプリング失敗への許容度を加えた、上限許容逸脱率(UDL: Upper Deviation Limits)が得られます。サンプル数が増えれば、サンプリング失敗の許容度は小さくなります。(見落としはありえないと...)

*過誤採択のリスク5%の意味する所は、100%から差し引いた95%が信頼水準ということで、自分のサービスゲームにおける第一サービスコントロールがOKである確率は95%。すなわち、無作為に抽出したサンプル(サービスゲーム)がOKである確率は95%。

ここでサンプルとして、150のサービスゲームを無作為に抽出したところ、NGのゲームを3つ発見しました。

上記のテーブルから得られる上限許容逸脱率(UDL)は150サンプル、3件の逸脱に対し5.1%。
これは、母集団における逸脱率が、5.1%を上回ることはない、ということになります。
このUDL(上限許容逸脱率)が、予め設定した我慢の限界(許容逸脱率、今回6%とおきます)を、超えていると、ここに入らない逸脱をサンプリングで見落としている、すなわち自分の力を過信することになり、母集団での発生逸脱率が許容逸脱率を超えていて、評価の意味がなくなるという危険がありますが、この場合は心配なさそうです。

またサンプルにおける発生逸脱率が、予想逸脱率(100-97.5%=2.5%)を上回っていると、UDLは想定した過誤採択リスクの下での許容逸脱率6%を上回るので、そのようなサンプルではこの選手のサービスコントロールが十分である、という結論を支持しません。(上の例では3/150=2%なので問題なし)

例えば6件の逸脱があったときは、発生逸脱率(6/150=4%)が、予想逸脱率(100-97.5%=2.5%)を上回っており、UDLも7.8%と6%を超えてしまっていますので心配です。
この場合は、サンプル数を150件から200件に増やすと、UDLが5.9%となり、許容逸脱率6%を下回るので、追加したサンプル50件のなかに、逸脱がなければ、今回の評価としては、コントロールはOKとなります。

現実を考えると、各逸脱例は(ゲーム局面、相手、球種、コース、フォーム等)の観点から分析が必要です。もちろん、あるゲームは、他に比べて圧倒的に重要な時もあります。サンプリングは、母集団全体についての結論を導くことはできますが、良質な勘と経験に基く個別判断を代替すべきものではありません。

ここでの議論に限ると、UDLが許容逸脱率(6%)を上回ると「大丈夫か?」と監査人は心配になります。

さらに、サンプリングはOKでも、
母集団において、上限逸脱率が
許容逸脱率を上回っていると、
このテストの有効性が問われます。
(実力の過大評価)

またサンプリングがNGで、
母集団の状況がOKの場合には、
監査の効率性が問われることに。
(無駄なことやってると)

ということで
自信(信頼水準)が上がれば、サンプルは増える(チェック厳しくなる)
予想逸脱率が上がれば(ばらつきが増えるので)、サンプルは増える(チェック厳しくなる)
許容逸脱率が上がれば、サンプルは減る(チェックはやさしくなる)
母集団が増えれば、サンプル数も増える(が、5000を超える母集団には殆ど影響しない)

以上です。


(This is just a self-made analogy for memorization)

One tennis player is evaluating the control ability of the first service in official matches.

Assuming that the average number of "service games" in a 3-set match is 12, there are 3 matches a week and 1800 service games a year. The population will be 5,000 in less than three years. (Evaluation is based only on the success, not-fault, rate of the services, and it does not matter whether the points are won or lost. Tie-Breaker is omitted for simplicity.)

This player believes that the control of the service is effective if the success rate of the first service for each service game is kept at 70%. (If there are 10 first services in one service game, 7 are valid.)

On average over three years, this player's service game control has been recently announced as effective with a 97.5% confidence. (97.5% of service games have more than 70% success in the first service.)

Now let's evaluate this announcement by sampling to verify the score sheet and determine if the current service control is valid.

AICPA tables are provided as standard for the population estimation.

At first, from this table, UDL(Upper Deviation Limits) rate can be obtained.
This number comes from actual deviations from the extracted samples, considering the sampling risk tolerance at estimating the population  (* at the risk of overreliance is 5%) 

As the number of samples increases, the tolerance for sampling failures decreases. (There should be less oversight ...)

* The risk of the overreliance of 5% means that 95%, which is subtracted from 100%, is the confidence level, and the probability that the first service control in the service game is OK is 95%. That is, the probability that a randomly selected sample (service game) is OK is 95%.

In this case here, when 150 service games were randomly selected, 3 NG games were found.

The UDL obtained from the AICPA table is 5.1% for 150 samples and 3 deviations.
This means that the deviation rate in the population will never exceed 5.1%.
If this UDL exceeds the preset limit of tolerance (allowable deviation rate, this time let's set to 6%), deviations that do not fall here may be overlooked by sampling error, which means there is a risk of being overconfident in the first service control. And when the deviation rate in the population exceeds the tolerable deviation rate, the evaluation becomes meaningless, but in this case, it should be no worry.

In addition, if the occurrence deviation rate in the sample exceeds the expected deviation rate (100-97.5% = 2.5%), the UDL will exceed the permissible deviation rate of 6% under the assumed risk of overreliance. We do not support the conclusion that such a sample has sufficient service control for this player. (In the above example, 3/150 = 2%, so there is no problem)

For example, when there are 6 deviations in the above case, the occurrence deviation rate (6/150 = 4%) exceeds the expected deviation rate (100-97.5% = 2.5%), and the UDL is also 7.8% and exceeds the tolerable rate of 6%. We should be worried about this sampling.

In this case, if we increase the number of samples from 150 to 200, the UDL will be 5.9% and the tolerable deviation rate will be less than 6%. Therefore, if there is no deviation in the added 50 samples, this evaluation As for, the control is OK.

Considering the reality, each deviation example needs to be analyzed from the viewpoint of (game aspect, opponent, ball type, course, form, etc.). Of course, some games are overwhelmingly more important than others. Sampling can draw conclusions about the entire population, but it should not replace individual judgment based on good intuition and experience.

As far as the discussion here is concerned, if the UDL exceeds the tolerable deviation rate (6%), the auditor will be worried, "Is it okay?"

Furthermore, even if the sampling is OK
when the UDL exceeds the POPULATION  the effectiveness of this sampling test is questioned.
(Overreliance on control)

Also, though the sampling is NG,
if the UDL of the POPULATION is under the tolerable deviation rate, the efficiency of this sampling test is questioned.
(Underreliance on control)

Consequently, the higher the self-confidence (Confidence level), the more samples (the check becomes stricter).
The higher the expected deviation rate (because of more variability), the more samples (more rigorous checks).
If the tolerable deviation rate increases, the number of samples decreases (checking becomes more gentle).
As the population grows, so does the number of samples (but has little effect on populations above 5000).

<end>

0 件のコメント:

コメントを投稿