Как сверстать элементы списка с кнопкой рядом?

Собственно пишу свой ToDoList, используя только JS. Не могу понять как сверстать элемент списка с кнопкой справа как показано на рисунке:

Дело в том, что если назначить display:inline-block для моей li кнопка станет там где-нужно, но другие li моего списка уже будет не в столбик а строку..