Google Spreadsheetの関数でWebデータを自動取得

こんばんは。ITクラブ講師の光井です。

今夜は、オンライン開催にてChat-GPT 4oのワークショップを開催しました。その際に例として挙げたのが、Webデータの自動取得方法です。

自動取得は「Pythonコードを書かないといけないのでは？」「デスクトップフローで自動化ってハードル高いな？」って感じていらっしゃるかもしれませんが、Google spreadsheetの関数を使って、簡単に取得できます。

北九州市ホームページには、多くの統計データがあります。今回は、単純な農業に関するデータを取得しました。「Importhtml」という独自関数を使うだけです。

【例】=IMPORTHTML("https://www.city.kitakyushu.lg.jp/san-kei/file_0460.html", "table", 1)

これを左端のセルに入力するだけで、Webページの1番目のテーブルが自動取得されます。もちろん、北九州市ホームページのデータが更新されれば、自動的にSpreadsheetのデータも更新されます。

いちいち、データを確認して、Spreadsheetデータを書き換えるという手間はなくなります。

これも、実はChat-GPTと会話して、簡単に構築できました。

次は、Excelデータとしてダウンロードしないといけないデータを、Google App Scriptを使って自動化をします。これは、JAVAというコードを書かないといけないのですが、Chat-GPTに書いてもらいます。その書き方と対話の仕方を、是非、ITクラブで体験してみてください。

【余談】ただ、無作為にデータを取得するのではなく、得た複数データを、自分の事業や研究に役立つための、多量変数データ解析は、順次実践していきます。これはプログラマーだけではなく、例えば、個人で営む町のスイーツショップなどでも活用できます。しかも、ほぼコストゼロです。

このブログの人気の投稿

手書きの効果

こんにちは。ITクラブ講師の光井です。皆様、ゴールデンウィークはいかがお過ごしでしょうか？私は、北九州から離れられず、仕事をしながら、家族との時間、ＩＴクラブの事務作業、、、など、隙間時間をうまく活用しながら、過ごしております。つい慌ただしいと、いろんなことに、追われてしまいがちですが、そんな時にこそ、手書きをオススメします。 Fig. 私が愛用している手帳。画像処理で伏せているところが多いですが、ニュアンスとして。「ＩＴクラブなのに手書き？時代に逆行してない？？」と思われるかもしれませんが、人間が文字や紙を発明して4000年、書くことは脳にとても良い効果を与えます。リンク：モレスキン社「科学によれば、書く量が多いほど、脳によい。」私自身も、普段は様々なデジタルツールをほぼフル活用しています。Google Workspaceのカレンダー、メモ、スマートキャンパス等々。特にスケジューリングは、Googleを中心に様々なアプリを連携させ、急な予定変更なども、迅速かつ確実に対応し、リマインドできる仕組みを構築しております（この方法に興味のあるかたは、ＩＴクラブに是非参加してみてください）。では、手帳を何に使っているか？というと、殆ど、日記＋思考整理＋振り返りに使っております。私は能率手帳の Nolty No.2281 を使用しております。スケジューリングのスペースは小さく、フリースペースがメインです。ここに、1週間の出来事や思考、アイディアをまとめ、頭を整理します。文字に起こすことも、図解することも出来ます。仕事関係は黒色、プライベートなどは青色など、使い分け。蛍光ペンなどを使って、視覚的にカラフルにする。出展： Nolty手帳活用例手帳については、社会人になって色々と試行錯誤をしながら、現在の運用に至ってます。きっともっと素敵な使い方があると思います。ＩＴクラブでは、皆さまのアイディアもお待ちしております。気軽にフラッと参加ください。 P.S. 町の書店さんも、ぜひ、ITクラブに来てみてください。一緒にアプリケーションを考えて行きましょう。そして能率手帳さま、案件いただけたら嬉しいです ww

浦島太郎とChat-GPT

こんばんわ。ＩＴクラブ講師の光井です。今回は皆さんが子どもの頃からよく知っている「浦島太郎」のお話を生成AIであるChat-GPTと対話しながら、ロジカルに紐解きました。と言いながらも、半分、面白おかしく考えてみましたので、ぜひ最後まで読んでみてください。さて、私も浦島太郎の物語を思い出せなくなってきたので、Chat-GPTに500文字以内に要約してもらいました。そっか！こんな話でしたね。そこで、私は疑問を持ちました。『浦島太郎はバッドエンド。浦島太郎は何か悪いことをしたのだろうか？』。そこで私なりの仮説を立てました。浦島太郎は、地域の漁業組合でトップ釣り師。以前、竜宮城の姫の父親であるカジキマグロを一本釣り。父を失った姫は、婚約者である亀に父の仇を依頼。『あいつをシバいてくれ』。フィアンセの亀は、カジキマグロ社営業部のトップ営業マン。巧みな営業トークと接待攻勢を駆使し、浦島太郎をクロージングした。浦島太郎は、復讐のターゲットとして、悲壮な最期を迎えた。いかがでしょうか(笑)。では、Chat-GPTと対話して、私の仮説が正しいか？検証しましょう。意外と教訓的な内容。巧みな姫と亀の設定(笑)。では、伏線があったのでしょうか？それでは、その選択肢は示されていたのでしょうか？なるほど。ただ物語を読むだけではなく、このような仮説思考の『秘書役』として、Chat-GPTは十分に役立ちます。北九州ＩＴクラブでは、Google Workspace 、Chat-GPTを基本に、学習からビジネス、遊びまで使えるノウハウを提供します。

Google App Script を使ってWebのExcelデータを自動取得

こんばんわ。ITクラブ講師の光井です。前回、北九州市Webサイトより表データの自動取得を、Google Spreadsheetの関数を使って自動化しました。その際、北九州市サーバーにあるExcelデータの取得は、関数ではできませんでした。それは、サーバーにあるファイルを一度、ダウンロードして変換しなければならないからです。今回は、 Spreadsheetに埋め込める、Google App Script 機能を使って、自動化を試みました。これは、言語としてはJAVAに近いものとのことです。さらに、 Chat-GPT 4o と対話しながらコードを書いては修正して、自動化した流れを紹介します。北九州市の統計情報サイトでは、上記のように、Excel方式でダウンロードできます。これを、自動でSpreadsheetに貼り付けて行きます。こんな感じで会話がスタートします。まずは提案されたコードをそのまま書きます。でも、だいたいうまくいきません。そこで、エラー内容を対話で返していき、作りたいコードに近づけて行きます。こんな感じで細かい指示までもらえるので、その通りにしていくと、成功しました（今回はGoogle Cloud API まで使いましたが、この辺も指示通りで）。成功　 ( ∩ ´ ∀ ｀ ) ∩ ﾜｰｲこんな感じです。 Chat-GPT 4oと、どうやって対話していくかが重要。慣れてくると対話の仕方がわかってくる。対話していくと、コードの意図がわかってくる。更に詳しい質問をすることで、自分の理解が深まる。いかがでしょうか？是非、 ITクラブでChat-GPTを学んでみませんか？？

北九州ITクラブ

このブログを検索