という話できてはいないのでメモ
放送大学の講義は全部字幕対応をきちっとやってくれているので
放送大学ラジオは音声データのみなのでwhisper要る
生のtsファイルか字幕付きでエンコードしファイル*1から字幕情報確実な情報が得られる
字幕のフォーマット
標準規格番号 ARIB STD-B36
GitHub - iGlitch/Caption2Ass: MPEG-TS字幕データ抽出ツール :: Extract .ass | .srt from .ts
許諾的に最終的にGPTに食わせようって考えてるから使えない
それらしいことができそうなモジュール
上のモジュールののフォークで現在も更新し続けてるやつ
*1:俺はHandBrake使ってるからデジタル放送の字幕データは残ってない
先に言っておく
優しいチュートリアル記事ではない
技術的な事を書いてるいつものブログに書こうとも思ったが大本のデータソースは放送大学のBSTVとBSラジオなのでこっちに書く
Windows11とVScodeで作ったコメントと無駄な記述がやたら多いリポジトリはここへ置いておく
GitHub - NEXTAltair/PT3Movie2Txt: 録画ファイルとかをwhisperで一気に文字起こしするやつ
音声から自動で文字起こししてくれるOpenAIがただ*1で配ってるwhisperってAIモデルがすごいぞって話を聞いたので試そうといろいろGoogle検索やChatGPTで調べた事
最終的にはPT3で録画しまくった放送大学フォルダに入ってるファイルを全部検索して文字起こしさせたい*2
参考にしたサイトはあるが自分の環境ではそのままでいけるわけもなく
Whisper│動画から日本語の文字起しをする方法│Mac | CGメソッド
無料でOpenAIの「Whisper」を使って録音ファイルから音声認識で文字おこしする方法まとめ - GIGAZINE
既にSD*3WebUIのためにVer3.10.6は入ってるんだがリリースの最新版は3.11になってるのでそれを入れて複数をVerのPythonを使い分けようと思ったらwhisperは3.10でないと動かなかった
ここは3.10動くんでそのままにしておこう
仮想環境なしで上の記事は入れてるがなるべくならそうしたほうがいいと思う
具体的に何故?と問われるとPythonはバージョンごとの依存関係が複雑だからと応えられるがそれより細かいことはわからない
仮想環境: Python環境構築ガイド - python.jp
そのやり方についてはここで知る
カレントディレクトリでコマンド実行
うちの場合"PT3Movie2Txt"をターミナルで開いて実行
python -m venv venv
コマンドで3.10.6の仮想環境が構築されたが､3.11も入ってても常に新しいバージョンが優先されて仮想環境が構築されるわけでもないみたいだ
python -v 3.11 -m venv venv
3.11のバージョンしていの場合whisperが動かなかった
コレについては後で詳しく書くが3.11でも動作するかもしれない
ちょっと難航した部分
pip install -U openai-whisper
最新版が入ってwhisperは使えるはず
しかし､CUDAコアデバイスが見つかりません系のエラー
いろいろ調べた結果"torch"は入ってるがそれにCUDAドライバが追加された"1.13.1+cu117"となってなかった
PyTorch単体でインストールすればいいかと考えて公式からインストールコマンドを調べてた
pip3 install --pre torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/nightly/cu117
コレで大丈夫だろうと思ったら駄目
+cu117にしたければ一度インストールしたPytotchをアンインストールする必要があるみたいだ
pip uninstall torch
pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
これで行けたpipとpip3何が違うの?
そう思ってChatGPTに聞いたらpipはPython2用､pip3はpython3用と言われた
どっちでも動くからどっちでもいいんじゃない?
知らんけど
2023-02-14 追記
pip3は古いので通常はpipを使う*4
pip uninstall torchからの再インストールをやればPython3.11環境でも動くんじゃないかとお思うが試してはない
Gigazineの記事にはインストールしようと有るがどっかのタイミング*5で入ってるため不要だった
nvidia-smi
CUDA version : 12.0とあるのでCUDAドライバが入ってるのはわかる
PyTorchで11.7までしかないのはおかしいとは思うが､互換性は確保されてるみたいなので動く
バグが出るかもしれないが動く
【Whisper】Pythonで音声ファイルを書き出ししてみよう！ | AI Academy Media
import whisper model = whisper.load_model("base")
# result = model.transcribe("準備したファイル名を指定")
# 今回の記事ではtest.m4aを用います。
result = model.transcribe("/content/test.m4a")
print(result["text"])
これでターミナルに動画からの文字起こしされたものが表示される
大変なのはここから先
処理していくとエラーで時々停止する
ChatGPTいわく｢.tsはコンテナなので映像に使われているコーデックが動画を処理するためのffmpegに対応してないんじゃない? それかファイル自体が破損してるか｣とのこと
この問題については完全に理解していない
それでも動かしたいので.tsは一度mp4に変換する事にした
それでもエラーだ
whisperはpipでインストールすると依存関係としてffmpeg-pythonはインストールされているので不要
しかし､ffmpegの本体は別途インストールでpathを通す*6
pip3 install ffmpeg
要るのか要らないのかは知らんが
多分要る
一緒にしてもいいんだけどコードが長くなってPythonなにそれ?って人間には分かりにくいので別の.pyを作る事にした
重複するファイルを作成する時はスキップするみたいな処理も追加した
俺のリポジトリからコード読んでもらうとわかるが
コレが一番大変だった
詳しくはコードのコメントを読んでもらうとして
ざっくり説明
そもそも保存されない
whisperで文字起こしされたデータはdict(辞書)型でtxtファイルに保存するにはstr(文字列)型に変換する必要があって"import json"で"json.dumps"で変換処理が必要だった
txtに保存できても文字コードのまま
改行がなくて一行に全データが保存されてめちゃくちゃ読みづらい
文字起こしの結果はsegments単位で保存されてるのでそれごとに改行処理を入れる必要があった
OpenAIがリリースした音声認識モデル”Whisper”の使い方をまとめてみた | DevelopersIO
OpenAI Whisper のコマンドオプション - Qiita
終わりとはいえないんだが学習データとして食わせるには悪くない
人間がそのまま読んでも読めるものが出てきた
クロス討論「人工知能（ＡＩ）の未来は？前編」2020-02-01-15：45-2.txt*7
id:0 me
id:1 今日の天気を教えて今日の横浜は予想最高気温20度 最低気温話しかけるだけで様々な操作をしてくれるスマートスピーカー
id:2 今人工知能 ai を使った商品が身近なものになり ブームが巻き起こっています
id:3 ビッグデータの解析技術の進化 そして脳のシステムの解明などによって
id:4 ai は加速度的な進化を続けています
id:5 一方このまま ai が進化し続けると人間の知能を超える日が来るという予測もあります
id:6 ai の進歩は私たちの未来に何をもたらすのか
id:7 専門家たちが徹底討論します
id:8 まああの今回の部分は今までと違ってですね大人の部分と子ども分の両方が揃った ai と
id:9 いうことに向かって進んでいるので続いていくのではないかというふうに思っています 人間が置いてけぼりにされるんじゃないのかなっていうそういうふうな
id:10 ちょっとダークなイメージを抱いています もうどんどん人がこう ai を搭載したスピーカーだと意識せずに今のスマートフォンみたいにもう
id:11 普通に日常生活にあるものになっていくんじゃないかなと思っています 私たちは ai とどう付き合っていけばいいのか
id:12 ai 人工知能の最前線に迫ります
id:13 放送大学の秋水俊夫です 様々な分野の専門家をお招きし語り合うクロス討論
id:14 今回のテーマは人工知能 ai の未来についてです 司会を務めます石井真彦です今日は気になる ai について様々な角度から勉強していきたい
id:15 と思います さて秋水さんあの ai 話題ですよねそうですねあの
id:16 スマートスピーカーだとかその人と語られるロボットだとか まああの自動運転だとかですね様々な技術がまあ私たち触れ合うようになって注目されて
id:17 ますよね 単にその社会で注目されているというだけではなくて
id:18 国の方でもですねその人工知能というのは非常に注目されていると a
id:19 文部科学省で定めた2018年定めた 第3次教育振興基本計画というのがあるんですけどもちょっと読みますがそこの前文にですね
id:20 今はが国は人生100年時代を迎えようとしており 超スマート社会の実現に向けて人工知能かっこ aia ビッグデータの活動活用などの技術革新が急速に進んで
id:21 いる こうした大転換期を乗り越えすべての人が豊かな人生を生き抜くために必要な力を
id:22 身につけて活躍できるようにする上で教育の果たす力大きいというふうに言われている わけですね
id:23 このようにまあ人の寿命も増えてきたその中で技術も変化している 社会自体が第一点環境を迎えているというふうになっている
id:24 まあその第一点環境を迎える主役になっているとも言えるのがこの ai と言えると思うんですよね とはいえ
id:25 ai によってすごく便利になってきたけどじゃあ映画具体的に何やってるのかっていうのは わからないなかなかねはいまあそういった
id:26 ai に対する疑問とかそれをやっぱりあの細田役としてもその皆さんに知っていただいて 考えていただくきっかけになってもらいたいというのがまあこの
id:27 とクロス討論のまって今ということになりますそうですねそこで今日はそうした不安や疑問誤解 など
id:28 論者の方々とともに語り合っていきながら ai の未来像を探ってまいりたいと思います それでは出演者の皆さんご紹介しましょう
id:29 まずは ai の最先端の研究を行っているドワンゴ人工知能研究所所長 山川博さんですよろしくお願いしますよろしくお願いします
id:30 今日の意気込みを一言 いや今日はですねあの
id:31 皆様と一緒にですね ai の未来について まあいいあの結論に導けるように頑張っていきたいとおもいますよろしくお願いします
id:32 山川さんには ai の専門家の立場からお話しいただきます 続きまして情報社会論情報コミュニケーション論が専門の哲学者
id:33 明治大学教授大国武彦さんですよろしくお願いしますよろしくお願いします 今日の意気込みを
id:34 a ですね先ほどあの ai のわからなさっていう言葉が出ましたけれども そのわからなさが ai に対する誤解を生んでると思うんですね
id:35 でその誤解に基づいて過剰な期待が抱かれたりですね でまぁいらぬ不安が抱かれたりする方が多いと思うんですよ
id:36 なのでまあ今日はの 哲学ないしあの社会科学に基づきながらできるだけその誤解を解いていければなぁと思って
id:37 ます 大国さんには ai と人間との関わりについて哲学者の立場からお話しいただきます
id:38 さあそして現役のコンピュータープログラマーで ai に興味津々のマルチタレント池澤彩香さんですよろしくお願いします
id:39 お願いします はい意気込みですよねえっと私普段からあのソフトウェアエンジニアとして働いているんです
id:40 けれども あのプロジェクト内で ai を実際に活用したりしながら仕事をしているんですが
id:41 まだまだわからないこととかあと未来はどうなるんだみたいな疑問もあるので今回は どんどんぶつけてねあの
id:42 いきたいなと思っています池澤さんには未来を担う若い世代を代表してお話しいただきます それでは早速討論に参りましょう
id:43 クロス討論を行うにあたってテーマを用意しました最初のテーマは今の人工知能 ai ブームをどう捉えるかです
id:44 討論を始める前にまずは人工知能技術開発の歴史を見てみます 人工知能 ai が生まれてからこれまで3回のブームが起こっています
id:45 第1次ブームは1950年代から60年代に起こったとされています 迷路の解き方や数学の定理の証明
id:46 人間の言葉で対話するシステムの開発が行われました
こんな出力
RTX3080-10GBでVRAMとCUDAコアの消費70%って一番精度の高いlarge-v2でもそんなに食わない
SDの時はちょっと処理速度は落ちるけど省エネ意識して60%のパワーリミットかけて動かしてる
whisperの場合は100%でも60%でもパワーリミットで体感速度があまり変わらない気がする
4090だともっともっと速いんだろうな~
講義をとっても無が在学状態ではあったけどそろそろ科目登録しないと除籍よって言われたので登録
学籍があると安い学生ライセンスを通したり役にはたってくれてる
入学から4年はAmazonのやつな超お得
#StableDeffsionってやつにドはまり*1してた時期なのでAIの事を学ぼう*2データサイエンス･リテラシの心得･導入･基礎の3科目のオンライン科目を登録した2022後期
だってもういちいち岡大まで試験受けに行くの面倒だしさ
科目名だけじゃどういう難易度よく分かんねえ
政府もリスキリングだAI人材だとか言ってて国営の私立大学ってことで昔から生涯学習ってのに向き合ってきた放送大学が力入れるのは当然なのでそれ系の科目が増る
単位が出る科目ではないが｢インターネット配信公開講座｣のニューラルネットワークとか機械学習とか概論だがガチ度すげえの
AIと戯れる絵を出すコードを出すのに疲れてきたので放送大学を消化する無論AIの話
— NEXTAltair (@NEXTAltair) 2022年12月11日
ニューラルネットワーク概論とかはガチすぎて息抜きにならねえのなんのって #StableDeffsion いじった結果いろいろ調べてなけりゃ1割も理解できない､今でも2､3割だ
既に公開講座なので既にエンジニアであるとかそういう人向けなのでPostの2､3割はちがう､今の俺は1割以下の理解だ
今は単位の出ない公開講座だけど四年ないし六年ごとの科目の見直しでもっと増える可能性
でも実習ができないからなあくまで教養学部なので
教員数も経費も抑えられているため、学部は容易には増やせません。実験系も難しい。 @salon_ena: @__obake 放送大学、どうして教養学部しかないんでしょうか？ #放送大学
— 岡部洋一 (@__obake) 2013年2月7日
昔学長やってたオバケもこう言っている
それで話を戻そう
データサイエンス･リテラシの心得･導入･基礎どの順が正しいステップなのかわかんないよこれ
シラバス読めってはなしだが俺は雰囲気だけで登録した
ざっと見た雰囲気心得･導入･基礎の順番でいいんだろうとは思う
そしてStableDeffsionに負けず凄いぞとなったChatGPT
放送大学の講義の小テストを使って #ChatGPT 👍👎で鍛えてあげてるけど
— NEXTAltair (@NEXTAltair) 2023年1月3日
講師の見解が議論が分かれる部分もあるかもしれないが､そこは無視で
AIの責任という項目をやってる#ChatGPT に書かせたレポート提出してみたが単位を落とした場合ないし最悪除籍処分の場合俺の責任なので甘んじてウケる
— NEXTAltair (@NEXTAltair) 2023年1月3日
再入学はできるかな?ペナルティとしての除籍2場合無理そうだがそうなったら試すわ
こんな感じで練習問題や小テストをChatGPTに食わせて正誤を学ばせてる今
#ChatGPT に放送大学のデータサイエンス･リテラシ導入の練習問題を解かせたら正解率40%だった
— NEXTAltair (@NEXTAltair) 2022年12月5日
ChatGPT4に期待だな
前はこうだったけど1ヶ月ぐらいで地味に正答率が上がってきている気がする
もうすぐ出るだろうと言われるGPT4への期待が否が応でも高まる*4
除籍処分がかかった俺のAIへの恩返しということで
｢自分のやってることを自分以外の全員が始めるとろくなことが起きないなと思うことはやめておいた方がいい｣とか｢みんなやってるからってお前がやっていいわけじゃない｣とかいう説教を思い出しながらでも止められねえよなとなってるのが今の俺だ
とりあえず小銭稼ぎにアフィっとくけど
バリバリエンジニア向けで教養という領域ではないが､今の小中学生が大学に進学するか就職するかの頃には
それでもStableDeffsionの根っこにある技術なのでむこう今年度中には読む
昨日の続きから2つ目の実験の話
直訳すると「像の記憶」映像記憶とかって感じ、横文字を使ってるってことは意味があるんだろうが、それは知らない
入力された情報は下記の流れを通って長期記憶に保存されるが、長期記憶は省く
「感覚記憶」生のデータを保持する領域。感覚器官ごとに対応する領域があって、ド短時間(1秒ぐらい)で無限大の情報を記憶できる
↓ 覚えておくべき情報を選り分ける。「注目・特徴検出」というデータ ↓ 縮する作業を経て短期記憶に送られる
「短期記憶」圧縮されたデータを一時保存する領域。 作業記憶(ワーキングメモリー)ともいう
視覚に対応する感覚記憶領域がアイコニックメモリー
アイコニックメモリーには無限大の情報、つまり目に見えたものの全てを1秒間保存できる事になる
今回の実験はアイコニックメモリーが実際にそれができているのかを証明する
そのために2種類の実験を行う
「覚えた文字の全部を報告してね。」という事で全体報告
3~9文字のアルファベットを答えていく
結果
正解数の平均は文字数に関わらず3.5ぐらい
この結果だけ見ればアイコニックメモリーの容量は約3.5文字で無限大ってことじゃなくなる
何故か？
それは報告途中にアイコニックメモリーの保存期限である1秒が過ぎて文字を忘れてしまうから
この全体報告法では「報告できた数=覚えていられる数」になってしまうからこれ以上の数を記憶できてたとしても証明ができない
それを証明するための実験2
「覚えた文字の一部分を報告してね。」という事で部分報告法
9文字のアルファベットの一部3文字を答える
結果
全員が3文字全て答えられた
何故か？
3文字なら答える最中に答えるべき部分を忘れたりしないから
ランダムに指された行の文字を答えるってのは9文字全て覚えられていないとできない芸当だから
これでアイコニックメモリーに9文字は覚えられているということは証明された
仮に10文字以上の文字数になっても示せば示される文字数が3文字以内なら正解できるはず
因みにこの実験でちょっと面白いことが起こる
アイコニックメモリーに保持された記憶が残像のように残って、文字が表示されている最中に矢印も表示されてるって錯覚を起こす
これは文字が消えて矢印が表示されるまでの時間が短いせいで、文字か消えたという事を意識できていないせい
余談だが焼けてた
面接授業「心理学実験１」に行ってきた
認定心理士の資格要件にもなっていて、20席が埋まっての追加開講までされた大人気
これをネタに書くと特定されそうだけど、「このブログ書いてるの誰々だぞ。」って触れ回る人も居ないだろう
授業は心理学とはってところから始まって、心理学の変遷、認知心理学の記憶の処理についての説明、
その説明に対する根拠となる心理学実験の手法や例と2日間約11時間の時間割はなかなか詰め込んだ内容
ここに出てくる実験は心理学の中で認知心理学に当たる分野の実験
認知心理学は、五感が得た情報が頭の中でどう処理されるのかを人間の機能をコンピューターに例えたりしながら研究していく分野
「頭の中の処理をどうやって証明するか？」と目に見えず、測定も難しいものだから実験の方法は、驚きがあって面白い
聞かれたことを思い出すときに聞かれ方で思い出したことが変わる*1って事を証明するための実験
逆に言えば誘導尋問のように聞き方次第で思い出させることを操作できる。
実験方法
Aチーム激突
車が「激突しました」時速何キロで走っていたと思いますか？」
Bチーム接触
車が「接触しました」時速何キロで走っていたと思いますか？」
実際のレポートには方法や質問はもっと細かく書く*2
結果
4で聞いたチーム毎の答えの平均と標準偏差をだしてその結果を考察する
「激突」のほうが速いという結果になるはずだったが、何故か接触のほうが高いって結果になった
この結果はかなり例外らしい
何故か？
わかるのは聞かれ方以外の何かで予測通りの結果にならなかったって事
何の影響か？
写真を見てから答えるまでの時間が短すぎた。 これは、他の面接授業でも同じ条件で実験してるだろうからこの可能性は低い
「激突ました」と聞かれて平均速度以下の速度を答えた俺の場合、割りと低速でも事故ったら結構壊れるって経験で知ってたからと言えるが、他の人はどうかわからない
シラバスにはUIに触れてたり、オンライン科目に興味があったんで受けてみたが、かなりふわっとしてる。
第一回の中で説明された感性とは？ 感性工学とは？を抜粋するとこうなる。
感性体験は、多くの人が共通に受け入れることができるものです。 ただ、人によっては感性の違いがあり、ある人がいいと感じたものを他の人がよくないと感じるようなことがあります。
感性体験には、ポジティブなものもあれば、ネガティブなものもあります。 ただ、感性工学で扱われるのは、ポジティブなものの方です。
例として桜が綺麗とか猫がかわいいを挙げられている
これは分かる
感情、感覚・知覚、判断に関係するものがあるが、感性そのものはそれらとは異なる。 印象とか直感という曖昧な用語もある。 受け手だけでなく作り手にも感性はある。ポジティブな感性とネガティブな感性があるが、産業的に重要なのはポジティブな感性です。
これを見てもそれが感性かなるほどとはならない
猫が可愛いとか情緒的な感想を持つことと、UIが使いやすいなんてまた別のものだ
キレイげだが使いにくい例
写真が動くなと、酔うだろ
UIとUX(ユーザーエクスペリエンス)の関係に近いのか？
使いやすさを追求する人間工学違いは何だ？
人間が持つ機能に焦点を当てて使いやすいものを作るのが人間工学だとして、感情に焦点を当てたものが感性工学になるのか
長町は、感性工学を、「顧客の感性を探ってデータ化し、それを分析することで顧客に喜ばれる新製品を開発すること」あるいは「人間がもっている願望としてのイメージや感性を、物理的なデザイン要素に翻訳し、具体的に設計する技術のこと」と定義しています。
感性工学を活用した例を見たほうが早い
スーパードライの場合
顧客の中にある"飲みやすさ" "注ぎやすさ"というイメージをアンケートによりデータ化して最適な飲み口の形状を探り出してる
ここまで書いても何かわかったような、わからないような奇妙な感じになってる
講師の人に聞いたりディスカッションで意見を求めたりすりゃいいんだろうけど、通学制の大学と違って何か距離の遠さを感じるし
この内容をディスカッションで書いて本名特定されても嫌だし、誰か俺の代わりに質問してくれないかな
一番アクセス数を稼ぎ出してくれているのが前回の記事
みんなも気になるし、俺も気になる取る取らないは別にしても
先月2016年9月20日にそれなりの動きは有ったみたい
公認心理師カリキュラム、WGで素案作成へ 医療介護CBnews
記事の中で気になる箇所は
試験に合格するかわからない人を医療機関が雇わない可能性を挙げ、大卒の実務経験者の枠が「有名無実化」することを懸念する声も出た
試験の合否が心配なら先に試験を受けて仮免というのはどう？
今更ながら実務経験を積むのは医療機関限定なのを知った。他にも心理職が実務経験を詰める場所はあるものだと思ってたから。
予定では今年度中にカリキュラムはまとまるらしいが、それから放送大学側が開講科目を整備して実際に動き出すのは約一年半後
スムーズに決まれば来年度には放送大学側から正式なアナウンスがあればいいなといった感じ
