• <xmp id="om0om">
    •
    • <table id="om0om"><noscript id="om0om"></noscript></table>
  • Related Resources

    ?? ?? ASR ??? ??? ?? ???? ?? ???

    2023? 1? 18?
    By
    +1
    Discuss (0)
    Reading Time: 8 minutes

    ?? ?? ??(ASR) ?? ??? ?? ??, ??? ??? ??? ???? ?? ?? ? ????. ? ??? ?? ???? ?? ?? ?? ??(??? ???? ???? ???? ??)? ?????. ?? ??? ??? ?????? ?? ???(????? ???? ??)? ??? ? ????. ? ?????? ???? ?? ???? ???? ??? ??? ?? ?? ASR ??? ??? ???? ??? ?????.

    ??? ?? ??

    ?? ?? ?? ??? ??? ? ??? ??? ???? ????? ?? ?????? ??? ??? ???? ??? ???? ???? ??? ? ????. ?? ??, ??? ???? ASR ??? 10%? ?? ???(WER)? ??? ????? ??? ?????. ? ?? ? ??? ???? ?? ??? 90% ????? ??? ? ????. 

    ??? ???? ???? ?? ???????? ??? ? ???, ?? ??? ??? ???? ? ?? ?? ??? ? ??? ??? ?? ??? ??? ???? ??? ??? ???? ?? ??? ?? ?? ? ?? ?? ??? ?? ??? ???? ???.

    ?? ?? ??? ??? ??? ???? ?? ??? ??? ???? ? ??? ???, ?? ??? ???? ?? ???? ?? ??? ? ? ????.

    ??? ?? ??? ??? ??? ?????? ???? ????. ?? ??, ?? 1? ??? ?? ?? ??? ?? ??? ??????. ?? ?? ??(‘?? ??’ ?? F_{max}(p))? ?? ?? ??? ????? ??? ?? ?? ?? ??? ?????. ?? ?? ??? ??? ??? ??? ? ??? ???? ??? ‘????’? ??? ? ????. 

    ?, ??? ?? ?? ??? ??? ??? ?? 1? ??? ???? ????, ????? 0? ?????. ??? ??? ????? ??? ?? 0.9? ?????. ????? ??? ????? ?? ???? ?? ??? ????. ??? ??? ?? ?? ?? ????? ????? ?? ??? ??? ??? ??? ????? ?? ? ????. 

    ????? ?? ? ?? ASR ??? ?????? ? ???? ?? ???? ?????. ??? ??? ?? ?? ??? ????? ?? ?? ??? 0? ??? ?? ? ??? ?????. ???? ?? ????, ????? ????? ?? ??(CTC), ?? ?? ???? ?????(RNN-T) ?? ?? ?? ?? ??? ?? ?? ?? ?? ??? ?????. 

    ????? ?? ??? ?????? ????. ??? ??? ??? ??? ???? ??? ???? ????? ??? ??? ?? ??? ???? ???? ?? ?? ??? ????.

    ?? 1. ?? ??? ?? ???? ??? ??? ?? ??? ??? ??? ?? ????? 6?. ?? ?? (a) ? (d)? ??? ??? ?? ???? ?? ??? ?? ???, (b) ? (e)? ?????, (c) ? (f)? ??(\Pi)?? ????.

    ?? ??? ???? ???? ??? ??? ????, ?? ????? ASR ?? ???? ?? ???? ???? ?? ??? ???? ??? ?? ??? ??? ????. ? ?? ??? ? ??? ?? ???? ?????? ???? ?? ??? ???? ???? ?? ?? ??? ?? ??? ????(????? ??? ??) ?? ???? ?????. 

    ??? ???? ??? ? ????? ?? ?? ????? ?? ?? ????? ???? ???? ?????, ?? ??? ???? ??? ???.

    ???? ?? ??? ??

    ? ???? ????? ? ??? ???? ??? ?? ???? ???? ????. ??? ?? ?? ???? CTC ? RNN-T ASR ??? ?? ???, ????, ???? ?? ??? ??? ?? ???? ??? ??? ?????.

    ??? ???? ?? ??? ??

    ??? ??? ??? ???? ?? ?? ??? ???? ?? ??? ??? ????. ? ??? [0,1] ???? ?? ??? ?? ??? ??? ???? ?? ??????. ?? ??? ‘?? ???’ ????? ?? ? ??? ????. ? ?? ??? ?? ?? ??? ??? ????? ?? ??(??)? ??? ???? ???? ??? ? ????.

    ???? ???? ???? ?? ?? ??? ???? ???. ???, ??? ???? ? ?? ??? ? ?? ?? ???? ???? ???? ???.

    ?? ????? ????? ????? ????? ??? ? ?????. ?? ???? ????? ??? ?? ??? ??? ???? ???? ?? ???? ????? ??????.

    ?? ??? ??? ??? ?? ASR? ??? ???, ??? ?? ??? ??? ??????. ??? ???? ?? ????? ?? ???. ?? ?? ???? ?? ??(‘????’ ?? ??)??? ??? ?? ???([0,1]? ??)???.

    H_g(p)? Gibbs ????(?? ?? ??? ?? ? Shannon ?????? ???), V? ??? ??? ?(ASR ??? ?? ??)?? F_{g}(p)? Gibbs ???? ??????. ??? ??? ???? ??(?? ??? 1/V), ??? ???? ??? ??? ??? 1/V??? ???? 0? ???.

    ? ???? ??? ??? ?? ???? ?? ??? ?? ??? ???? ??? ?????. ? 1? ??? ?? ????? 0? ??? ?? ????.

    ?? ???? ?? ??? ??

    ?? ???? ?? ??? ??? ?? ??? ?? ????? ??? ??? ??? ????. ????? ????? ??? ?????? ?? ???? 0? ??? ?(?? ??? ??? ??)? ???? ????. 

    ?? ? ???? ?? ??? ????? ?? ? ????. ? ?? ??? ????? ? ?? ??? ?? ???? ??? ? ????. ?? ? ???? ??? ???. ??? ???? ??? ??? [0,1] ?? ?? ???? ???? ???? 0? ??? ????. 

    ? ??? ???? ?? ??? ???? ????? ???? ? ????.

    F^{e}_{g}(p)? ????? ???? Gibbs ???? ??????. 

    ???? ?? ???? ????? ???? ???? ??? ???? ?? ??????? ???? ?????. ? ???? log-softmax? 0<T<1? ????. ?? ?? ??? ???? ????? ??? ??? ???? ?? ???? ????. ????? ?? ????? ???? ?? ???? ????. ????? T? ?? ??? ????? ?? ?? ?????. ?? ?? ???? ???? ??? ?? ??? ?? ????? ???? ? ????. ?? ????? ?? ??? ??? ??? ?? ????.

    ???? ???? T? ?? ?? ????? ??? ??? ?????. ?? ??, V=128? ?? T=0.21 ??? ? ? ????. ? ??? ??? ?? ?? ??? ??? ??? ?? ????? ?? ????? ?? ???? ?? ?? ????.

    ???? ????? ?? ??? ?? ??? ????. 20??? ? ?? ???? ????? ???????. ? ??? ??? ???? Tsallis ????? ???? ??? ?? ??? Rényi ????? ????. ? ? ???? ????? ?? ???? \alpha? ??? ???, ?? 0<\alpha<1?? ?? ????? ?? ?????. ????? ???? ??? ??? ??? ????.

    F^{e}_{ts}(p) ? F^{e}_{r}(p)? ?? Tsallis ? Rényi ??? ??????. Rényi ??? ???? ??? ????? ??? ?????? ?? 2? ?? ?????. ??? ??? ???? ??? ?? ?? ???, ????? ??? ??? ?? ?? ????? ?? ??? ? ????.

    ?? ?? ??

    ???? ? ?????? ?? ?? ?? ?? ?? ???? ?? ??? ??? ??????. ? ??? ?? ?? ??? ?? ???? ??? ?? ???? ???? ?? ??? ?????.

    ???? ?? ???? ??, ?? ? ?? ??? ?? ??? ??? ??? ?? ??? ??? ???? ??? ? ????. ??? ???? ASR ??? ??? ??? ? ?? ? ?? ??? ??? ???. 1) ??? ?? ???, ?? ??? ??? ???? ??? ????? 2) ?? <blank> ???(<blank> ??? ??? ???)?? ??? ?? ???? ??? ?? ? ?? ??? ???? ? ?? ??? ??????.

    RNN-T ??? ??? ??? <blank> ??? ??? ????? ? ??? ?? ?? ???? ??? ?? ??? ??? ?? ? ????. CTC ??? ?? ??? ???? ?? ??? ? <blank> ??? ????? ??? ? ????. ??? ?? ?? ??? ??? ?? ??? ???? ????? ?? ????? ????? ???? ??? ????.

    ?? ??? ?? <blank> ???? ???? ? ?? ??? ????. ????? ???? ????. ? ?? ??? ????? ???? ?? ??? ? <blank> ??? ??? ??? ???? ????? ???. 

    ?? ??? ?? ??, ?? ??? ?? ?? ?? ?? ?? ? ??? ???? ?? ????. ? ????? ? ?? ? ??? ?? ???? ?? ???? (????) ? ?? ??? ?????. ??? ?? ? ????? ?????. <blank> ??? ???? ?? ???? ??(?, ???) ??? ??? ?? ??? ?????. <blank> ??? ??? ?? ?????? ????? ?? ??? ??? ?? ??? ???? ???? ???? ????.

    ?? ?? ? ?? ?

    ?? ??? ???? ?? ??? ?? ???? ?? ?? ????? ? ??? ?????. ?? 2? ?? ?? ??? ??? ?? ?? 1? ??? ? ??? ???? ?? ???? ? ?? ??? ?? ??? ??? ??? ?? ??? ????? ?? ? ? ????. (??? ?? ??? ? ?? ???? ?????.) 

    ? ?? ??? ?? ?? ?? ????? ????. ? ??? ????? ???? Gibbs ???? ???? ?? ??? ??? ?????? ???? ??? ???? ??? ????? ? ???? ????. \alpha=1/3? ?? Tsallis ???? ?? ???? ?? ? ?? ?? ???? ? ???????. ??? ?? ??? ?????. ??? ??? ?? ??? ?? ????? ????? ?????. ????? ??? ???? ?? ????? ?? ??? ???? ?? ????? ?? ?????.

    ?? 2. ?? 1?? ?? ??? ?? ???? ??? ??? ?? ??? ??? ??? ?? ????? 6?(?? 1? ?? ??? ?? ???).

    ???? Rényi ????? ??? ????? Tsallis ? Rényi ?? ???? ??? ???? ???? ???? ?? ???? ?????(?? 3). ??? \alpha ? ??? ??, Tsallis ????? ??? ??? ??? ?? ??? ?? ? ?? ?? ??? ?????. ?? Tsallis ?? ??? ???? ? ?????, Rényi? ?? ??? ? ?? ? ???? ? ? ????? ?? ????.

    ?? 3. RNN-T ?? ? \alpha=1/3? ?? Tsallis ? Rényi ???? ?? ??? ?? ??? ?? ??

    ??? ??? \alpha? ???? ?????. ??? ASR ??? ????(????? ???? \alpha? ??? ?)? ????? ?? ??? ?? ?????. ??? ?? ???? ??? ? ?? ?? \alpha? ?? ?????(?? 4). 

    ? ?? ?? ??? ?? ??? ?????? ????? ??(??? ??? ?? ??? ?? ??? ??? ??) ? ?? \alpha? ???? ???.

    ?? 4. Tsallis ???? ?? ???? ??? \alpha ?? RNN-T ?? ?? ??

    ?? ?? ??? ???? ?? ???? ?? ???? ??? ???? ????. ??, ???? ?? ??? ?? ???? ?? ?? ?? ????? ??? ??? 4? ? ? ??? ? ????. ??, ??? ???? ???? ??? ?? ?? ???? ??? ??? 5%? ?? ???? ?? 40%? ?? ??(??? ??? ????? ??)? ???? ? ????. ????? ???? ?? ???? CTC ? RNN-T ??? ??? ??? ??? ??????. ?, ???? ????? ??? RNN-T ?? ??? ??? ??? ??? ? ????.

    ??

    ? ???? ??? ?? ? ?? ??? ?????.

    1. ASR ??? ?? ?? ??? ??? ???? ?? ?? ?? Tsallis ? Rényi ???? ?? ???? ?????. ??? ?? ????.
    2. ??? ???? ???? ??? \alpha(????? ?? ???? ????)? ?????. ??? 3?? 1? ??? ?? ????.
    3. ??? ????? ??? ?????? ? ?? ?? ???? ?????.

    ??? ???? ??? ?? ??? ??? Aleksandr Laptev ? Boris Ginsburg? ?? ? ?? ?? ?? ??? ?? ?? ???? ??? ?? ?? ??? ?? ???? ?????.

    ?? ???? ?? ???? NVIDIA NeMo?? ??? ? ????. GitHub? NVIDIA/NeMo? ???? ?????. 

    ? ???? ??? SDK? ???? ?? ???, ?? ???, ?? ??, ??, ?? ??, ???? NVIDIA ??? ???? ??? ??? ??? ??? ? ????. ?? ??? ???? NVIDIA? ?? ????? ???? ? ??? ??? ??? ?????? ???? ??? ??? ???.

    Discuss (0)
    +1

    Tags

    NeMo | Automatic Speech Recognition (ASR) | research | technical walkthrough

    ??? ??

    Aleksandr Laptev ???
    Aleksandr Laptev? ITMO ??? ?? ?? ???? NVIDIA? ?? ??????. ?? ??? ???? ?? ?? ??, ?? ??(TTS), ??? ?????. ?? ??? ?? ??? ????, ?? ?? ?????? ????, ?? ?? ?? ??? ?????. ?? ?? ?? ??? ?? ??? ?? ?? ?? ????????.

    ??

    ?? ???

    人人超碰97caoporen国产