声優が同じってだけで他作品のキャラの名前で呼ぶ奴ってどう思う？

AというキャラとBというキャラいるとする
それぞれ全く別の作品のキャラで共通点は声優が同じだということぐらい
Bを先に知っていて、後にAとキャストを知った際に「B」と呼ぶ
その後もAのことをBと呼び続ける

みたいなやつ
声優の名前で呼ぶのとどっちがマシなんだろう？