Google Spreadsheetの関数でWebデータを自動取得

こんばんは。ITクラブ講師の光井です。

今夜は、オンライン開催にてChat-GPT 4oのワークショップを開催しました。その際に例として挙げたのが、Webデータの自動取得方法です。

自動取得は「Pythonコードを書かないといけないのでは？」「デスクトップフローで自動化ってハードル高いな？」って感じていらっしゃるかもしれませんが、Google spreadsheetの関数を使って、簡単に取得できます。

北九州市ホームページには、多くの統計データがあります。今回は、単純な農業に関するデータを取得しました。「Importhtml」という独自関数を使うだけです。

【例】=IMPORTHTML("https://www.city.kitakyushu.lg.jp/san-kei/file_0460.html", "table", 1)

これを左端のセルに入力するだけで、Webページの1番目のテーブルが自動取得されます。もちろん、北九州市ホームページのデータが更新されれば、自動的にSpreadsheetのデータも更新されます。

いちいち、データを確認して、Spreadsheetデータを書き換えるという手間はなくなります。

これも、実はChat-GPTと会話して、簡単に構築できました。

次は、Excelデータとしてダウンロードしないといけないデータを、Google App Scriptを使って自動化をします。これは、JAVAというコードを書かないといけないのですが、Chat-GPTに書いてもらいます。その書き方と対話の仕方を、是非、ITクラブで体験してみてください。

【余談】ただ、無作為にデータを取得するのではなく、得た複数データを、自分の事業や研究に役立つための、多量変数データ解析は、順次実践していきます。これはプログラマーだけではなく、例えば、個人で営む町のスイーツショップなどでも活用できます。しかも、ほぼコストゼロです。

このブログの人気の投稿

LINE x google スプレッドシートからLINE通知

こんばんは。北九州ITクラブ講師の光井です。皆さんが良く利用しているLINEとGoogleの機能を連携させた、シンプルな仕組みについて紹介します。LINEは、日本国内で約70％が使用しているメッセージアプリで、個人同士のコミュニケーションから、グループでの情報共有、ビジネスでの使用など多岐にわたります。 LINEビジネスアカウントでは、様々な追加機能が使用できますが「月額使用料がかかってしまう」「収集されたデータを活用したり、自動化するには、サードパーティー製アプリを追加購入する必要がある」と、ある程度、収益を見込まないと、導入にはハードルがあります。また、外部アプリによる自動化をするには、様々なコードを開発する必要があるので、ある程度の知識と技術が必要です。北九州ITクラブでは、Google無料機能を駆使して、LINEをどこまで活用できるかもチャレンジしてみます。皆さんにはあまりなじみのない、 LINE notify という無料のサービスがあります。発行されたトークンをコードに埋め込み、通知させることができます。今回は、とてもシンプルなコードをGoogle SpreadsheetとGAS（google app sprict）を使って、作成しました。 Fig.1 Google spreadsheet シンプルな構成 Spreadsheetの1行目には、送信したいメッセージを入力してます。下にあるボタンを押すと、LINEグループに送信される仕組みです。一見、どのような仕組みかわからないですが、このシートにGASを埋め込んでいます。 Fig.2 埋め込んだGASコードとLINEトークンこれがGASと言われる、JAVAをベースに構築されたコードです。全部自力で書くと大変ですが、ハヤカワさんが紹介した生成AIである、Chat-GPTに書かせることもできます。なので、何をやりたいか？を明確にすれば、ハードルはそんなに高くないです。塗りつぶしたところにLINE notify で発行したトークンを埋め込んでます。実際に送信すると、どうなるでしょう？？ Fig.3 LINEグループでの送信結果上記の通り、設定したLINEグループにメッセージが送信されました！！他にも、ITクラブでは、LINEから送信される情報を自動集計できないか？など、色々とチャレンジしていく予定...

DXが難しいと思う事業でもチャレンジする価値あり（農業編）

こんにちは。ITクラブ講師の光井です。 ITクラブ Ver2.30 として、CANDLEでスタートし、もうすぐ１か月になろうとしています。この期間だけでも様々な出会いがあり、運営陣として感謝申し上げます。さて、ITクラブでは「 IT技術を身近に、誰もが活用できる社会へ。」をテーマに、メンバーの皆さんの生活や趣味、仕事などで役立つノウハウを身に付けたり試してみる場として、マイペースに活動をしております。「自分にはＩＴは関係ないや」って感じているかもしれないですが、意外と知られていない、DX事例を紹介したいと思います。今回は農業分野です。＜農業向け栽培管理支援システム「xarvio®(ザルビオ)フィールドマネージャー」＞ https://www.xarvio-japan.jp/ 出展：BASFデジタルファーミング社実際の導入事例（山口県）を見てみてください。一見、ITに無頓着っぽい方が、ITを駆使して農業を実践されています。めちゃ、かっこよくないですか？本システムは、世界最大の化学メーカーであるドイツのBASF社が開発したシステムで、衛星画像からAIが解析して、肥料の撒き方を教えてくれます。もちろん、BASF社農薬を優先的に販売していくためのシステムですので、ビジネスの意図は大きいです。しかし、ザルビオに限らず、ITを道具として駆使すれば、自分のビジネスや生活が劇的に変化する可能性はあります。ぜひ、 ITクラブで試してみませんか？？

Google App Script を使ってWebのExcelデータを自動取得

こんばんわ。ITクラブ講師の光井です。前回、北九州市Webサイトより表データの自動取得を、Google Spreadsheetの関数を使って自動化しました。その際、北九州市サーバーにあるExcelデータの取得は、関数ではできませんでした。それは、サーバーにあるファイルを一度、ダウンロードして変換しなければならないからです。今回は、 Spreadsheetに埋め込める、Google App Script 機能を使って、自動化を試みました。これは、言語としてはJAVAに近いものとのことです。さらに、 Chat-GPT 4o と対話しながらコードを書いては修正して、自動化した流れを紹介します。北九州市の統計情報サイトでは、上記のように、Excel方式でダウンロードできます。これを、自動でSpreadsheetに貼り付けて行きます。こんな感じで会話がスタートします。まずは提案されたコードをそのまま書きます。でも、だいたいうまくいきません。そこで、エラー内容を対話で返していき、作りたいコードに近づけて行きます。こんな感じで細かい指示までもらえるので、その通りにしていくと、成功しました（今回はGoogle Cloud API まで使いましたが、この辺も指示通りで）。成功　 ( ∩ ´ ∀ ｀ ) ∩ ﾜｰｲこんな感じです。 Chat-GPT 4oと、どうやって対話していくかが重要。慣れてくると対話の仕方がわかってくる。対話していくと、コードの意図がわかってくる。更に詳しい質問をすることで、自分の理解が深まる。いかがでしょうか？是非、 ITクラブでChat-GPTを学んでみませんか？？

北九州ITクラブ

このブログを検索