выделение голоса определенного спикера из wav файла

Подскажите как можно из звукозаписи, где говорят несколько человек выделить голос определенного? Как я понял, здесь нужно использовать преобразования Фурье. Ну собственно оно и сделано. Есть частотно-амплитудная характеристика сигнала. А как понять какие гармоники мне нужны? Как их выделить и убрать лишние?

def furieTransform(wav):
    s_rate, signal = wavfile.read(wav)
    FFT = abs(fft(signal))
    freqs = fftfreq(len(FFT), (1.0 / s_rate))
    plt.plot(freqs[range(len(FFT) // 2)], FFT[range(len(FFT) // 2)])
    plt.xlabel('Frequency (Hz)')
    plt.ylabel('Amplitude')
    plt.show()