Google Spreadsheetの関数でWebデータを自動取得

こんばんは。ITクラブ講師の光井です。

今夜は、オンライン開催にてChat-GPT 4oのワークショップを開催しました。その際に例として挙げたのが、Webデータの自動取得方法です。

自動取得は「Pythonコードを書かないといけないのでは？」「デスクトップフローで自動化ってハードル高いな？」って感じていらっしゃるかもしれませんが、Google spreadsheetの関数を使って、簡単に取得できます。

北九州市ホームページには、多くの統計データがあります。今回は、単純な農業に関するデータを取得しました。「Importhtml」という独自関数を使うだけです。

【例】=IMPORTHTML("https://www.city.kitakyushu.lg.jp/san-kei/file_0460.html", "table", 1)

これを左端のセルに入力するだけで、Webページの1番目のテーブルが自動取得されます。もちろん、北九州市ホームページのデータが更新されれば、自動的にSpreadsheetのデータも更新されます。

いちいち、データを確認して、Spreadsheetデータを書き換えるという手間はなくなります。

これも、実はChat-GPTと会話して、簡単に構築できました。

次は、Excelデータとしてダウンロードしないといけないデータを、Google App Scriptを使って自動化をします。これは、JAVAというコードを書かないといけないのですが、Chat-GPTに書いてもらいます。その書き方と対話の仕方を、是非、ITクラブで体験してみてください。

【余談】ただ、無作為にデータを取得するのではなく、得た複数データを、自分の事業や研究に役立つための、多量変数データ解析は、順次実践していきます。これはプログラマーだけではなく、例えば、個人で営む町のスイーツショップなどでも活用できます。しかも、ほぼコストゼロです。

このブログの人気の投稿

浦島太郎とChat-GPT

こんばんわ。ＩＴクラブ講師の光井です。今回は皆さんが子どもの頃からよく知っている「浦島太郎」のお話を生成AIであるChat-GPTと対話しながら、ロジカルに紐解きました。と言いながらも、半分、面白おかしく考えてみましたので、ぜひ最後まで読んでみてください。さて、私も浦島太郎の物語を思い出せなくなってきたので、Chat-GPTに500文字以内に要約してもらいました。そっか！こんな話でしたね。そこで、私は疑問を持ちました。『浦島太郎はバッドエンド。浦島太郎は何か悪いことをしたのだろうか？』。そこで私なりの仮説を立てました。浦島太郎は、地域の漁業組合でトップ釣り師。以前、竜宮城の姫の父親であるカジキマグロを一本釣り。父を失った姫は、婚約者である亀に父の仇を依頼。『あいつをシバいてくれ』。フィアンセの亀は、カジキマグロ社営業部のトップ営業マン。巧みな営業トークと接待攻勢を駆使し、浦島太郎をクロージングした。浦島太郎は、復讐のターゲットとして、悲壮な最期を迎えた。いかがでしょうか(笑)。では、Chat-GPTと対話して、私の仮説が正しいか？検証しましょう。意外と教訓的な内容。巧みな姫と亀の設定(笑)。では、伏線があったのでしょうか？それでは、その選択肢は示されていたのでしょうか？なるほど。ただ物語を読むだけではなく、このような仮説思考の『秘書役』として、Chat-GPTは十分に役立ちます。北九州ＩＴクラブでは、Google Workspace 、Chat-GPTを基本に、学習からビジネス、遊びまで使えるノウハウを提供します。

数学はどこで使うの？

こんにちは。学生さんは夏休みに入って、海や山、部活やイベントなど、楽しい計画がたくさんあると思います。ぜひ、今しかできない思い出を作ってください。さて、小学生から大学生まで、学び続ける科目に「数学」があります。「数学なんて勉強して、いつ、使うんだよ！！」って感じられている方も多いと思います。実際、私もそうでした。私も社会に出て働き、20年以上経過しました。今、改めて「数学はとても重要である」と再認識しています。 ITクラブで学ぶ、プログラミングやDXも、数学的アプローチが重要になります。ITクラブでは、本気のプログラミングよりは、会話のような数学的ロジカル思考を経験する場所になりますので、かしこまることはありません（笑）しかし、世界の先端ビジネスでは、実は数学的なアプローチによって、基礎技術を確立するため、それを取り扱うにも、数学的な思考が大切になります。 Fig. 出展：Agilent Technologies社の資料より上記は、 Agilent Technologies 社の解説書の冒頭に記載されています。アジレント？皆さん馴染みのない企業名だと思われていると思いますが、元社名は、ヒューレットパッカード（HP）です。世界的には最先端のテクノロジー企業で、本社はアメリカのApple本社の隣です。書くと、長くなってしまうので割愛しますが、報道メディアでは「DX」「起業家」「ベンチャー」「起業」「スタートアップ」と表向きには持ち上げられてますが、世界の現実は、基礎的な学術アプローチでイノベーションされているともとらえられます。私は決して数学が得意ではないです。なので、高校数学（数学１、Aとか）地道にやり直そうかなと、考えてます。ITクラブで一緒に数学を勉強する大人や子供も募集しますので、お気軽にITクラブに来てみてください。次回は、第四次産業革命、ハノーバメッセなどの中身、少し具体的な話をしたいと思います。

【シリーズ】第四次産業革命　〜化学者目線〜

こんばんわ。ITクラブ講師の光井です。シリーズで第四次産業革命について、簡単に解説させていただく、第二弾です。前回化学者目線で書くといったのに、化学の話が出なかったと、同じ九工大化学系材料技術者の後輩からツッコミを受け、改めて、化学について考察します。出展：株式会社島津製作所高速液体クロマトグラフ LC-2060D 化学、つまりChemicalと言われる分野では、液体・流体を扱います。自動車産業やハイテク機器とは違い、非常に制御が難しい分野で、「圧力、温度、送液のタイミングなどを、1℃、1Paだけ〇〇時間変更する」といった繊細な制御にて高度な構造をもつ製品ができます。この分野は、日本企業が世界をリードしていることは、意外と皆さんご存知ではないでしょうか？？出展：株式会社RESONAC 記者会見よりさて、私の普段の仕事の現場では、どんな影響があるのでしょうか？化学品の構造、性能などを品質保証するためには、生産工程及び出荷での検査があります。これは非常に重要なことであります。日本国内にも島津製作所や日立ハイテクサイエンス、日本電子、小さくてもフロンティアラボのような技術に立脚した、世界で戦う国際企業が多数あります。実はここ10年くらい、このアーキテクチャが大きく変わりました。昨今、製薬企業のデータ改ざん、不正問題が多発しました。そこで、導入されたのが Data Integrity という概念です。いつ、だれが、なにを、どのように、した。これを電子的に記録し、厚生労働省や所轄薬務課が監査するわけです。過去、紙の検査記録が主流でしたが、現在は基本的に禁止となっています。なぜなら、そのデータがいつ印刷され、どのように取り扱われたのか？を証明できないのです。印刷物に日付時刻が印字されてるのでは？と思われるかと思いますか、その時刻が正しいとどうやって証明するのですか？これが現実です。この規制に対応するには、アメリカのメーカーのソフトウェアを購入するのが一番楽です。固有名称は割愛しますが、米国FDAを退官した官僚とメガファーマが手を組んで規制（ルールメイキング）したからです。日本は？というと、もちろん、この規制に準ずることになりました（当たり前のように）。なので、昨今不正が多いのは、規制によってあぶり出されたことはプラスの側面です。マイナス...

北九州ITクラブ

このブログを検索