法文では「人に対する、不安を覚えさせるような卑わいな言動」なので、相手方の性別は関係ありません。
判例は「卑わいな言動」＝「社会通念上，性的道義観念に反する下品でみだらな言語又は動作をいう」とするので、オッサンの胸とか尻を触っても該当する可能性があります。
とすると、性同一性障害の方を「女性」と扱った事例でもないので、珍しくないと思います。
公衆に著しく迷惑をかける暴力的不良行為等の防止に関する条例違反被告事件
【事件番号】 最高裁判所第３小法廷決定
【判決日付】 平成２０年１１月１０日
【掲載誌】 最高裁判所刑事判例集６２巻１０号２８５３頁
裁判所時報１４７１号３７２頁
判例タイムズ１３０２号１１０頁
判例時報２０５０号１５８頁
ＬＬＩ／ＤＢ 判例秘書登載
【評釈論文】 ジュリスト１４３３号１１４頁
法曹時報６３巻１０号２５４５頁
弁護人古田渉の上告趣意のうち，憲法３１条，３９条違反をいう点については，公衆に著しく迷惑をかける暴力的不良行為等の防止に関する条例（昭和４０年北海道条例第３４号）２条の２第１項４号の「卑わいな言動」とは，社会通念上，性的道義観念に反する下品でみだらな言語又は動作をいうと解され，同条１項柱書きの「公共の場所又は公共の乗物にいる者に対し，正当な理由がないのに，著しくしゅう恥させ，又は不安を覚えさせるような」と相まって，日常用語としてこれを合理的に解釈することが可能であり，所論のように不明確であるということはできないから，前提を欠き，その余は，単なる法令違反，事実誤認の主張であり，被告人本人の上告趣意は，単なる法令違反，事実誤認の主張であって，いずれも刑訴法４０５条の上告理由に当たらない。
というべきである。これと同旨の原判断は相当である
例
北海道警察本部「公衆に著しく迷惑をかける暴力的不良行為等の防止に関する条例」逐条解説
(4) 「卑わいな言動」とは、いやらしく、みだらな言語、動作で、通常人の性的しゅう恥心を害し、嫌悪感を催させ、又は不安を覚えさせるに足りる言語、動作をいう。
https://www.kobe-np.co.jp/news/jiken/201709/0010530305.shtml
判決によると、男は昨年３月１３日午前１時ごろ、同区の飲食店で、ＧＩＤの診断を受け女性として暮らす男性＝当時（４６）＝の胸を服の上から触った。
男は公判で「男性の胸を触る理由も動機もない」などと無罪を主張。弁護側は、男性が店内にいた知人にその場で被害を訴えていなかった点などを踏まえ、男性の供述が不合理であるなどとしていた。
市原裁判官は判決で、「男性から『女性ホルモンの注射をして胸も膨らんでいる』と言われ、からかうような意味を込めて胸を触ったとしても不自然ではない」と指摘。男性が知人に被害を伝えなかった点は、「ＧＩＤの男性が胸を触られたことが犯罪に当たるのか分からない中、被害を訴えなかった心情は十分理解できる」と述べた。
男性は昨年４月に須磨署に被害を相談。同署は男を書類送検し、神戸地検が昨年１２月に同条例違反罪で在宅起訴した。関係者によると、ＧＩＤにより戸籍と異なる性で生活する人を被害者とし、同条例違反罪で立件するのは珍しいという。
ＧＩＤ学会理事長の中塚幹也・岡山大大学院教授は「男性の心情面まで理解した判決。痴漢やわいせつ被害を訴えられないＧＩＤの患者がいるという実情をとらえた点も評価できる」と話した。
http://www6.e-reikinet.jp/cgi-bin/hyogo-ken/D1W_resdata.exe?PROCID=361908889&CALLTYPE=1&RESNO=72&UKEY=1504829619056
公衆に著しく迷惑をかける暴力的不良行為等の防止に関する条例
（卑わいな行為等の禁止）
第３条の２
1 何人も、公共の場所又は公共の乗物において、次に掲げる行為をしてはならない。
(１) 人に対する、不安を覚えさせるような卑わいな言動
(２) 正当な理由がないのに、人の通常衣服で隠されている身体又は下着を撮影する目的で写真機、ビデオカメラその他これらに類する機器（以下「写真機等」という。）を設置する行為
２ 何人も、集会所、事業所、タクシーその他の不特定又は多数の者が利用するような場所（公共の場所を除く。）又は乗物（公共の乗物を除く。）において、次に掲げる行為をしてはならない。
(１) 正当な理由がないのに、人の通常衣服で隠されている身体又は下着を写真機等を用いて撮影し、又は撮影する目的で写真機等を向ける行為
(２) 前項第２号に掲げる行為
３ 何人も、正当な理由がないのに、浴場、更衣室、便所その他人が通常衣服の全部又は一部を着けない状態でいるような場所にいる人を写真機等を用いて撮影し、撮影する目的で写真機等を向け、又は撮影する目的で写真機等を設置してはならない。
追加〔平成28年条例31号〕
