TensorFlow object_detection..builders.model_builder.build() съедает память GPU

Доброго времени суток!
Я пытаюсь воспроизвести код из официального tutorial'а tensorflow object detection api (https://github.com/tensorflow/models/blob/master/research/object_detection/colab_tutorials/eager_few_shot_od_training_tf2_colab.ipynb) на своем локальном компьютере В jupyter-notebook.
Я длошел до строк:
'''

detection_model = model_builder.build(
      model_config=model_config, is_training=True)

'''

После исполнения этих строк память GPU прктически полностью поглащается и ее становится недостаточно для обучения модели. Вот что выводит команда '!nvidia-smi' до выполнения этих строк:

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 465.19.01    Driver Version: 465.19.01    CUDA Version: 11.3     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA Quadro P400  On   | 00000000:01:00.0  On |                  N/A |
| 34%   36C    P8    N/A /  N/A |    320MiB /  1997MiB |     39%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A      1070      G   /usr/lib/xorg/Xorg                 39MiB |
|    0   N/A  N/A      1633      G   /usr/lib/xorg/Xorg                162MiB |
|    0   N/A  N/A      1769      G   /usr/bin/gnome-shell               54MiB |
|    0   N/A  N/A      1796      G   ...mviewer/tv_bin/TeamViewer       14MiB |
|    0   N/A  N/A     97769      G   ...AAAAAAAAA= --shared-files       28MiB |
|    0   N/A  N/A    245661      G   /usr/lib/firefox/firefox            0MiB |
|    0   N/A  N/A    245701      G   /usr/lib/firefox/firefox            0MiB |
|    0   N/A  N/A    247837      G   /usr/lib/firefox/firefox            1MiB |
|    0   N/A  N/A    248657      G   /usr/lib/firefox/firefox            0MiB |
|    0   N/A  N/A    248712      G   /usr/lib/firefox/firefox            0MiB |
|    0   N/A  N/A    249314      G   /usr/lib/firefox/firefox            0MiB |
+-----------------------------------------------------------------------------+  

А вто вывод той же команды сразу после них:

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 465.19.01    Driver Version: 465.19.01    CUDA Version: 11.3     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA Quadro P400  On   | 00000000:01:00.0  On |                  N/A |
| 34%   37C    P0    N/A /  N/A |   1773MiB /  1997MiB |      5%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A      1070      G   /usr/lib/xorg/Xorg                 39MiB |
|    0   N/A  N/A      1633      G   /usr/lib/xorg/Xorg                162MiB |
|    0   N/A  N/A      1769      G   /usr/bin/gnome-shell               54MiB |
|    0   N/A  N/A      1796      G   ...mviewer/tv_bin/TeamViewer       14MiB |
|    0   N/A  N/A     97769      G   ...AAAAAAAAA= --shared-files       28MiB |
|    0   N/A  N/A    245661      G   /usr/lib/firefox/firefox            0MiB |
|    0   N/A  N/A    245701      G   /usr/lib/firefox/firefox            0MiB |
|    0   N/A  N/A    247837      G   /usr/lib/firefox/firefox            1MiB |
|    0   N/A  N/A    248657      G   /usr/lib/firefox/firefox            0MiB |
|    0   N/A  N/A    248712      G   /usr/lib/firefox/firefox            0MiB |
|    0   N/A  N/A    249314      G   /usr/lib/firefox/firefox            0MiB |
|    0   N/A  N/A    254881      C   ...nvs/tensorflow/bin/python     1451MiB |
+-----------------------------------------------------------------------------+

При этом, я только создал модель, еще не загрузил Checkpoint'ы и не начал обучение модели. Примечально, что если выполнять этот же код в google colaboratory, то подобной утечки памяти не происходит.
Кто знает из-за чего такое может происходить и как с этим бороться?
Спасибо!