調査官が勝手に引出しを開けるなど、無礼な態度が目立ちます。どこにクレームを言えばよいのですか？

税務署長、国税局法人税課(もしくは所得税課)に抗議します。
「税務調査記録表」に調査官1人ずつの言動を記録したうえで税務署長、国税局法人税課(もしくは所得税課)に抗議します。

抗議対象行為

1. 承諾なく事務室内を検査する
2. 承諾なく自宅内に入り込む
3. 承諾なく個人の持ち物を検査する
4. 大声を出したり机をたたいたりする
5. 「反面調査を徹底的にやる」など脅迫的な言動を行う

始末書は法的根拠のある書類ではないので、書く必要はありません。

このたびの税務調査で指摘を受けました外注先A社に対する支払いは、取引実態を仮装隠蔽したものです。今後はこのようなことがないよう改めますので、今回の件につきましては、穏当な処置をお願いします。

始末書は上記のような文面で、調査官から指示されます。始末書は調査内容に自信がない場合に、納税者の自白によって「仮装隠蔽」を確定させるものです。これにより調査官は「重加算税を納税者に課す」という最大のポイントを稼ぐのです。
仮装隠蔽かどうかは税務上、堂々と議論すべきであり、始末書というトリックに惑わされてはいけません。