Как правильно реализовать карту с выезжающими bottom sheet dialog и toolbar

Попытался сделать подобное через CoordinatorLayout внутри которого лежат тулбар, карта, на которой отображено примерно 200-300 элементов (кластеризованно), и BottomSheetDialog. По нажатию кнопки выезжает диалог (тулбар пока статичный). Проблема заключается в следующем, если список в диалоге оставить пустым, то он прекрасно открывается и все работает. Как только я установлю эти же 200-300 элементов с карты в список, приложение начинает жутко лагать и в конце концов вылетает с ошибкой, что слишком много работы в главном потоке. Я понимаю, что таким образом мой фрагмент становится сильно перегруженным, но не имею понятия как сделать по-другому. Если сделать через BottomSheetDialogFragment, то я не смогу манипулировать тулбаром на фрагменте с картой, как и самой картой. Подскажите, может есть какой-то другой подход?