医療情報システム担当者の黄昏

アラ定年の医療情報システム担当のひとり語り

病院情報システムの障害対応/対マルウェア対応(2)障害レベルごとの対応マニュアル(横糸)

(前回からの続き)
 「障害レベルごとの対応マニュアル」はマトリックス形式で記載される。マトリックスの横軸が対応すべき各部門、縦軸が障害レベル。そのマトリックスの一つのマスごとにその事象発生時に様々な部門でやるべきことを記す。

 各部門とは外来、病棟、検査科や薬剤科、画像、栄養科などの各部門、OPE室、医事課やリハ、必要があれば臨工、中材等、病院の機能単位である。

 障害レベルというのは発生事象を病院診療での影響度で軽い順に並べたものである。
 軽いものから順に1)部門システムの停止。2)医事システムの停止、3)電子カルテシステムの停止、4)ネットワーク停止、5)電源喪失で考えている。医事システムの停止以上はBCPとも被る項目も多くなるのではないか。
 また障害レベルには6)マルウェア感染疑いがこれらとは別に定義される。マルウェア感染疑いはそれ以外の1)〜5)とは性質が異なるので章を改めて記す。

マトリックスの一つのマスについて

 マトリックスのマスについての考え方を以下に示す。

 例えば検査システムが停止した場合、検査自体を停止するのか、それとも機器を使用して検査自体は続行するのか。その際の診療現場からのオーダの受領方法、結果をどうやって診療現場に返すか。そう言った情報伝達の手段の検討。
 また、薬剤管理システム停止時はオーダの受領方法、調剤分包機や薬袋発行機にどうやってデータを渡すかなど。アンプルピッカーがあればそれへの対応。
 それ以外にも画像での造影剤使用時の同意書など、画像検査やOPE時に必要とされる分書類をシステムから出力しているなど。実際に電子カルテシステム等のシステムがダウンしている際、縮退運用中にその行為をするかどうかということも含めて検討した方が良い。
 ドキュメント類の多くは電子カルテシステム導入前に使用していた伝票の流用、結果票の流用になると思うが、電子カルテシステム導入から時間が経っている場合が多く看護師や医師、部署のスタッフの入職退職などでの人の入れ替えで伝票の入力方法などがすでに失伝している場合も多い。面倒だろうが過去のマニュアルの発掘するか新たに作成する必要がある。
 実際に事象が発生した場合に備えてマニュアルや伝票は印刷して常備した方が良い。よく聞くのは病棟などに予め準備していたんだけど、長い間使わなかったので散逸してしまったという話。もう一つは緊急時の伝票、マニュアル類をグループウェアやファイルサーバなどに保管していて緊急時に開こうとしたが、ネットワークが切れていたり電源喪失だったりで見ることができませんでしたという話。
 このような場合のために緊急時に必要な伝票やマニュアルは事務や医事課やカルテ保管スペースの隅に部署ごとにまとめて保管しておくようにして、緊急時には部署から緊急事運用切替の放送などを契機に取りに来るように取り決めておいた方がいいかもしれない。

 また、診療現場からのオーダの伝達や結果の返送以外にも電子カルテならばカルテ記載の問題がある。何らかの原因でその場で記載ができなかった場合の記載、オーダ内容、結果データを電子カルテに対してどうするかの検討は必要である。誰がどうするか。等。
 その運用に関しては電子カルテならば電子保存の3条件との整合性を考える必要がある。ベンダを交えて検討した方が良いと思う。

●各障害レベルの概要

 各障害レベルについては以下の通りである。

 

1)部門システムの停止

 部門システムの停止は各部門での主要システムの停止を扱う。
 検査システム、薬剤管理システム、RISやPACSなど、給食管理システム等の停止時の運用を扱う。
 部門システム障害以外にHIS内の各部門システムとのインタフェース部分の停止(一部ネットワークの停止含む)時はHISも部門システムも外見的に動いているがHISからのオーダ情報や部門システムからの結果情報のやりとりができない状況の場合もある。他にも再来受付機等の重要なサブシステム停止時の対応も検討した方が良い。(再来受付機の停止は受付運用に影響するので検討自体は次項の「2)医事システムの停止」と絡めて検討することになるかな)

 

2)医事システムの停止

 医事システムは受付や会計などの業務を担う。
 医事システムの停止は新患受付や再来受付の停止、つまり患者情報を病院情報システムへエントリできない状況や患者来院をシステムに知らせることができない状況が発生する。医事システムと電子カルテシステムの連動が前提になっているシステムの場合は新来患者情報が電子カルテにエントリできず新来患者の診療に支障をきたすことがあるので新来患者の運用は注意して検討する必要がある。
 再来受付機導入病院も再来患者のエントリができない状況になる。停止した再来受付機は受付で代用できるが医事課のスタッフに負荷をかける。
 受付は患者番号の発番他様々な診療行為の起点になるので、止まった場合にHISへの新患のエントリはどうするのか検討が必要である。
 以前の病院では元々1ヶ月に1回程度医事会計システムを再起動させていた。再起動に要する時間は1時間程度だが病院が救急指定病院なので再起動中にも患者が救急車で運ばれてくる。新規に来院した患者の場合医事システム再起動のためIDの発番ができないので困る。そこで別途システムを作って発番データと患者氏名などの情報を作成し、エンボッサでIDカードの作成を行った。臨時IDカード発行システムと言った。各部門システムも患者IDで管理していたので必要だったからである。
 電子カルテシステム導入時には医事会計システムと電子カルテシステムの通信インタフェースを臨時IDカード発行システムでエミュレートし医事停止時でも臨時IDカード発行システムから電子カルテシステムに患者属性情報が飛ぶようにしたため患者受付ができるようにした。
 これは24時間365日受け入れている救急病院だから必要だということで検討したが、全ての病院で必要なものではないだろう。
 そこまでするかどうかは別にしても医事停止時の患者受付の検討は必要である。
 また、会計ができない状況についても院内で予め決めておいた方が良い。

 医事システムは電子カルテシステムなどよりはるか以前から稼働しているので医事課内部でクリアできる問題は解決済みだろう。医事システム停止時には内金精算や次回来院時に精算としている病院も多いのではないかと思う。
 医事課の責任者不在時に混乱しないように予め内部で意識合わせしたほうが良い。

 

3)電子カルテシステムの停止
 診療部門と各部門の間の情報伝達が止まる。各種オーダが止まり結果の返送が止まり医事への送信が止まる。また、カルテの持つ記載機能が停止する。
 オーダに関しては診療部門と各部門間で使用されていた旧来の伝票運用に切り替わるのが通例だろうと思う。各部門と病棟、外来などと打ち合わせをして運用について検討する。
 また、電子カルテ停止時に発生した検査などのオーダ情報は再開時にどうなるのか。オーダ情報がない場合の結果情報は部門システムから受け取れるのか?また、医師や看護師ほかの記載については復旧後に入力する形になるのではないか。
 電子カルテベンダを交えて検討する必要がある。
 電子保存の3条件を満たすような運用や取り決めを検討する必要があるのではないか。

 電子カルテシステムからの診療情報が受け取れないことで会計処理が難しくなる。電子カルテの導入により電子カルテから医事システムに直接データが送られるようになるにつれて伝票から医事システムへのエントリをしたことがないスタッフが年々増える。慣れない作業は時間がかかり患者さんを待たせることになる。この場合の対応も内金精算や次回来院時に精算となるかもしれない。

 

4)ネットワーク停止

 病院の規模やシステム/ネットワーク構成と障害規模により対応が異なると思う。

 例えば各部門のネットワークが止まった場合、1)の各部門システム停止時の運用と同様となる。医事システム関連のネットワークが逝った場合は2)の医事システム停止時の運用と同様になる。電子カルテシステムサーバ関連のネットワークが逝った場合は3)の電子カルテシステムの停止時の運用となる。
 情報を提供する側のシステムサーバのネットワークが逝った場合の対応は1)~3)と同様になる。
 これは各部門システムサーバが部門にありその部門のネットワークが逝ってしまった場合の対応である。

 それ以外に外来や病棟などの診療側のネットワークが逝った場合は他の領域が元気に稼働しているがその領域だけすべての情報サービスが停止する。その診療単位のみ全ネットワーク停止と同じ対応になる。

 規模が大きい病院の場合などは情報システム部門がサーバ室にて一括管理していることがある。その場合に情報システム部門のネットワークが逝った場合には全部止まる。復旧までの間1)~3)の対応になるのかな?

 仮想環境やサーバ集約などでサーバ室に部門システムのサーバを集めている環境で部門側のネットワークが止まってしまった場合など、ややこしいケースはある。この場合も1)と同じ対応になるかな。

 それ以外にも例えば全体を統括しているL3スイッチが死んだとか。そうしたら全部止まる。対応的には1)~3)だと思う。
 診療系の情報収集に部門システムや医事システム、電子カルテ以外のものを使っている場合(exp.共有フォルダ内のファイル共有や院内HP上/グループウェアなどの情報)はそれらも逝ってしまうので覚悟は必要である。

 大規模ネットワークが死んでしまったらほんと大汗かくよ。
 戻らなかったらITに関わる病院機能は止まるからね。
 上に覚悟って書いたけど、本当に必要ですね。「覚悟」。自分がやらかしたわけじゃないのに(そういう場合もあるかもだけど)全病院から「お前何しとんねん」的な目で見られ、どやされるんだけどそれでも悪い情報を話さなければならない「覚悟」。

 ネットワーク構成によってはある部門のネットワークが止まり同時に特定の病棟のネットワークが止まったりする。この時の止まった原因は病棟側で外れていたネットワークケーブルを病棟にいた誰かが何気に壁のネットワークコンセントにプチッと挿した。同一ネットワークだったので見事なループを形成しブロードキャストストームが発生した。該当のVLANを持つSwitchの通信が溢れてSwitch配下にある病棟や部門のネットワークが止まった。ように見えた。実際、通信できないから止まったと同じだろう。
 今はループガードがあるSwitchがあるのでそれを上手く使えば防げることではあるけど、最近の製品動向を見てないからわからないなー。当時は高速で動かさなければならないSwitchでループガード機能を動かすと能力が低下するので機能を切っていたような気がする。

 ネットワーク障害は障害を起こしたネットワーク機器やネットワーク構成によって影響範囲がまるて変わってくる。自環境にあわせた対応を検討するべきである。

 もう一つ、電話でIP電話で運用している施設はネットワークが切れたら電話も切れる。
 自分が電話交換機をリプレースした病院ではそういった事態を避けるためにIP電話にせずにレガシーな電話回線のまま残した。もう一つの理由としてはナースコールのIP電話対応が事実上ナースコールの入れ替えになってしまうのでコスト的に問題になった。

 

5)電源喪失(停電)

 病院のシステム構成やネットワーク構成による。
 情報システムは基本的にサーバとネットワークとPCから成り立っている。そのどこが停電で止まってもシステムは稼働していると言えない。
 サーバ室はUPSや発電機で守ってもそれを各所と繋ぐネットワークはどうだろう。経路上のHUBは重要な場所だけでもUPSや発電機で電源供給されているだろうか?また、各所のPCに関しても同様である。

 また、そもそも電源喪失をした場合には病院の診療業務はどうなっているのか?どうするつもりなのか?現状を把握した上で病院側で決めておかないと電源喪失時の運用は決められない。

 同じ電源喪失でも、落雷や台風などの一時的な停電の場合はサーバやその他の最低限必要なPCなどは発電機回路からの電力供給を受けるようにして、一般商用電源から発電機にフェイルオーバーする時間を保証するためにUPSを設置していると停電中も最低限の業務は可能かもしれない。

 停電時でもシステムを動かし続ける選択をした場合、発電機の電力供給可能時間を超えて停電が長引くことも検討したほうが良い。
 情報システム部門内部でシステムシャットダウン手順の確立は必要だと思う。
 稼働中のサーバへ電力供給が停止した場合には復電後の再起動時にデータベースが上手く起動しないとかサーバ事態の損傷、OSの損傷などでシステムが再稼働できない可能性がある。
 電力供給されているうちにシステムを正常にShutdownするために予め全システムShutdownに必要な時間を検討したほうが良い。

 IP電話の場合はネットワークが止まると電話も繋がらなくなる。
 レガシーな電話交換機(今どきの交換機は中身はデジタルで動いてるんだけどね)は伝統的に内部にバッテリーを持っていることが多い。長時間停電した場合にバッテリーが切れるが、それまでは通話は可能である。


 これらの検討に際しては情報システム部門と各部門が協力して動かなければならない。検討にあたってお客さん気分の部署があればその部署は事象発生時には吠え面をかくことになりかねない。
 診療部門以外にも総務などの管理部門、病院上層部との意識合わせも必須だと思う(まぁ、なかなか難しいんだけども)。
 緊急時運用への切り替えってドえらいことなんだけど実質情報システム部門の一担当者が何の権限も根拠もなしに切り替えた、と言うのは組織運営上はあまり望ましいことじゃないだろう。実際にはシステムが稼働してなければICTを使った診療は望めないので事態に立ち至れば否応はないんだけど。診療部門が復旧を急ぐあまりに先走ることを留めるためにもシステム停止時の緊急運用開始、終了の権限を正式に貰っておいたほうが良いと思う。
 対応策策定前に上層部に方針を説明し、重要性を理解してもらい最終案は切り替え権限者の件も含めて稟議を通すなりの筋を通すのが病院にとっても担当者にとっても吉ではないだろうか。

 上に「覚悟」って書いたけど、予め「そう言ったこともありうるから検討してるんだよ」的なことを上に認識させるためにもまぁやっといた良いと思うよ。
 システムが使えない、患者を目の前にして検査結果も見れない、オーダも出せない、画像も見えない、言うなれば極限状態では不安に駆られた人々は石を投げつける相手を探そうとするからね。(遠い目...)

 次回はマルウェア感染疑い。