autocmd で terminalを開いたときは除外する

vim内でterminalを一度開き、そこから別のバッファーに移動し、再度terminalに移動すると以下のエラーが出てきた。

Error detected while processing BufEnter Autocommands for "*":
E344 Can't find directory "!/bin" in cdpath

原因は以下のカレントディレクトリを自動的に変更するための　autocmd。

" 開いた箇所を自動的に作業ディレクトリにする
augroup auto_lcd
    au!
    au BufEnter * lcd %:p:h
augroup End

terminalに移動した時にカレントディレクトリを "!/bin" に設定しようとして上記のエラーとなった。

以下terminalは除外するように設定

" 開いた箇所を自動的に作業ディレクトリにする
augroup auto_lcd
    au!
"   au BufEnter * if &buftype !=# 'terminal' | lcd %:p:h | endif
augroup End