Counter

掲示板for技術士受験応援ページ


[ HOME掲示板TOPツリー表示一覧表示トピック表示新規投稿記事検索過去ログ携帯用URL ]
[7024] 

復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:よっさん  2024/07/20(土) 22:21:14 
復元論文・問題文・コンピテンシをセットでchatgptに投げて点数化させたところ
80点以上の評価を得ました。
chatgptで得た評価どおりに、実際にAランクとなった方がおられましたら
宜しければ参考までにお聞かせ下さい。
お手数をおかけし申し訳ございませんが宜しくお願い致します。

引用返信/返信 削除キー
[7031] 

Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:初受験  2024/07/21(日) 09:17:26 
初受験なので、分かりません。
添削段階でChatGPTではAなのに、題意がずれているとして再提出になったことはあります。
そして、今回も題意からずれてしまったのに、ChatGPTではA

引用返信/返信 削除キー
[7048] 

Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:さちこ  2024/07/22(月) 10:03:49 
CHATGPTへの聞き方にもよるかと思います。
「問題文及び設問」、「復元論文」、「その問題文に求められるコンピテンシー」を
インプツトにした上で、題意との整合を確認されてはどうでしょうか

引用返信/返信 削除キー
[7049] 

Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:くまぞう  2024/07/22(月) 10:51:37 
例えばですが、必須科目の再現論文について、CHATGPTに採点させる場合

必須科目は、「専門的学識」、「問題解決」、「評価」、「技術者倫理」、「コミュニケーション」の5点ですので
これを考慮します。

上記を踏まえ、例えば、CHATGPTへの投げ方は以下のとおり。
------------------------------------------------------
「日本技術士会が定める「専門的学識」、「問題解決」、「評価」、「技術者倫理」、
「コミュニケーション」の定義の文字列」

上記の「専門的学識」、「問題解決」、「評価」、「技術者倫理」、「コミュニケーション」の観点を念頭に
以下の「問題文」に対し、「論文」を作成しましたので「論文」を採点してください。
採点においては、A・B・Cのランク付けをしてください。
Aは60点以上、Bは40点〜60点未満、Cは40点未満とします。

「問題文」
 問題文と設問。。。の文字列
「論文」
 再現論文。。。の文字列
------------------------------------------------------

ここでいったんCHATGPTの採点結果がかえってきます
その上で、問題文の題意にそった内容かを改めて採点受けるとか

引用返信/返信 削除キー
[7063] 

Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:名無し  2024/07/23(火) 07:55:50 
過去3年分の問題Tの再現解答を使って、ChatGPTと成績開示請求の点数を比較しました。採点は、くまぞうさんの方法です。
R3 成績開示60 GPT65
R4 成績開示64 GPT65
R5 成績開示65 GPT55
感想としては、概念的なものを記述すると、
具体性に欠けるとして減点される傾向が強い気がします。
例えば、R5はインフラ「群」や、インフラメンテナンス行動計画、包括的民間委託方式等の概念的なものを記述しましたが、やはり抽象的な点が指摘されました。
ご参考まで。

引用返信/返信 削除キー
[7070] 

Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:ゆみこ  2024/07/23(火) 10:14:21 
はじめまして。
名無しさんの情報は大変参考になります! かなり貴重な情報ですね。
3年分の情報ですから、信頼性も高い気がします。
3年分の比較を拝見しますと、成績開示とCHATGPTの評価は、概ね、同等ですね。
この結果を踏まえると、日本技術士会の採点が、いかに題意・コンピテンシーとの整合に忠実に採点しているかが読み取れます。

私の場合、くまぞうさんの方法で、CHATGPTの評価結果、T、U、Vいずれも90点以上の評価でした。結果が楽しみです。

たとえば、U-2では、コンピテンシの「マネジメント」が評価項目の1つですが
CHATGPTに再現論文を入力したときに、「資源配分」に関する記述箇所をきちんと検出してくれますね。

CHATGPTは、問題文もコンピテンシーも構文を高い精度で読み取りますので
採点結果は、非常に参考になるものであることを再確認いたしました。

名無しさん お手間であったと思いますが、ご親切に情報提供頂き、ありがとうございます!


引用返信/返信 削除キー
[7071] 

Re: Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:たつ  2024/07/23(火) 10:26:47 
わたしも、くまぞうさんのやり方にて、CHATGPTで再現論文をチェックしてみました。

必須に関していえば、CHATGPTの採点結果では、
「専門的学識」、「問題解決」、「評価」、「技術者倫理」、「コミュニケーション」
1つ1つについて、評価ランク(A,B,C)の採点結果が明示され
最後に、総合評価Aとなりました。

引用返信/返信 削除キー
[7072] 

Re: Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:トルネコ  2024/07/23(火) 11:13:47 

私の場合、評価が50点〜85点と試行するたびに変わります。

引用返信/返信 削除キー
[7073] 

Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:まきこ  2024/07/23(火) 11:34:58 
このスレッド 大変興味深いです。有難いです。
CHATGPTは入力の仕方によって回答の内容や精度が変わりますので
くまぞうさんの入力方法を参考に、私もCHATGPTにて添削を行ってみました。

添削の評価基準(各問題ごとに求められるコンピテンシー)の定義がが構文として明確ですし、
問題文の題意との整合状況も、チェックできました。

CHATGPTは構文解析なので、問題文の題意もさることながら、各設問で問われる事項として
「3つの課題を抽出し」、「それぞれの観点を明記した上」、「複数の解決策を」、「専門技術用語を交えて」
「波及効果」、「懸念事項」。。。など、問われている1つ1つの事項に対し、記述できているかのチェックも
できますね。

ありがとうございます。

引用返信/返信 削除キー
[7100] 

Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:こぶさん  2024/07/26(金) 23:29:53 
CHATGPTに対して復元論文を添削する方法は良いですね。
現在だと、CHATGPT4ですので、構文解析能力が高く
コンピテンシー・問題文・再現論文の3点セットをインプットにすると、
非常に厳格な評価がかえってきますし採点の精度は非常に高いですし
適格な評価が返ってきます。
例えば、以下を論理的にアウトプットしてくれます。
・論文の与条件として書くユースケースの題意に対する妥当性とか
・題意に対して、ユースケースを踏まえた抽出した課題の妥当性とか、
・題意に対して、ユースケースを踏まえた解決策の技術や手法論の妥当性とか
・論理性を補強する場合の有効な追加のアプローチとか


そのため、口頭試験に向けて、内容の精査の意味でも非常に参考になります。

他のみなさんはどうなのでしょうね。


引用返信/返信 削除キー
[7110] 

Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:受験者  2024/07/29(月) 16:20:08 
ネットで公開されている点数開示結果の高得点者がおおよそ75〜80%なので
題意に添えていて禁止ワードや誤字脱字が無ければchatgptの点数×80%くらいが目安になりそうですね。
自分の必須は85点くらいでしたので微妙ですね。

ちなみに専門科目はどのように質問すればよいでしょうか。




引用返信/返信 削除キー
[7123] 

Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:ぼく  2024/07/30(火) 21:28:34 
「ネットで公開されている点数開示結果の高得点者がおおよそ75〜80%なので」
って、どこにあるのでしょうか?

引用返信/返信 削除キー
[7131] 

Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:鋼コン初受験  2024/07/31(水) 21:10:07 
他の方がやられてるような方法で、評価対象のコンピテンシーとコンピテンシーの定義を入力した上で、問題文と復元論文を何回か投げ込んでるんですが…
何度やっても80点台や90点台のA判定になってしまい、AIとはいえ褒められるのは悪い気はしないんですが、リアリティの無さに逆に不安になってしまいますね。自分なりに与える前提条件とかイジって試行錯誤してますが、なかなか60点近辺のリアリティある出力が出ないのが、うーん…という感じですね。

引用返信/返信 削除キー
[7132] 

Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:ナノフォース  2024/07/31(水) 23:01:43 
昨年度の解答と点数をchatgptに覚えてもらい、その後に厳しく採点をしてもらうと58.5点と出ました・・・・。
実際に60点に届かないと寂しい気持ちになりますw
試してみてください。

引用返信/返信 削除キー
[7133] 

Re: Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:ぼく  2024/08/01(木) 12:26:57 
採点結果65点から、もっと高い得点になるはず的ないちゃもんつけたら5点上がり、さらに言うとどんどん点が上ります(笑

引用返信/返信 削除キー
[7134] 

Re: Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:4回目  2024/08/01(木) 12:44:53 
くまぞうさんの方法を参考にやってみました。
U-1、U-2、Vのインプット条件が割と適当なので参考も参考ですが(笑)

T
各観点においてバランスよく評価できる内容が盛り込まれており、特に専門的学識と問題解決能力が高く評価されます。したがって、論文の総合評価はA(60点以上)とします。
論文全体として、専門的知識の活用と現実的な課題へのアプローチがよく示されており、技術者としての高い倫理観とコミュニケーション能力も評価されます。
論文を100点満点で評価すると、85点といたします。(※技術者倫理等、5項目20点満点評価)

U-1
総合評価
論文全体として、専門知識と問題解決能力がしっかりと示されており、非常に良い内容です。ただし、技術者倫理についての言及が不足しており、リスク評価や説明の詳細がさらに改善されるとさらに良い評価ができるでしょう。
総合点数: 82点(※Tと同じ5項目で評価され、記載していない技術者倫理が低い)

U-2
総合評価
全体として、技術的な知識と実践的な問題解決能力が高く評価されます。業務の手順や関係者との調整方策も適切に示されていますが、一部詳細な説明が不足しているため、若干の改善が望まれます。
総合点数: 86点(専門学的知識、問題解決、業務手順と留意点、関係者との調整方策の4項目)

V
総評
論文は、専門分野におけるカーボンニュートラル達成に向けた課題と解決策を多面的に考察しており、技術的な視点からも有用な内容が含まれている。ただし、いくつかの部分で具体性や実施可能性についての説明が不足しており、全体的な具体性と実行可能性の評価において若干の改善が必要です。これらを踏まえて、より具体的な事例やデータを用いた分析を行うことで、評価が向上するでしょう。
この論文は、おおむねBランクの40点〜60点未満に相当します。具体的には、55点程度が妥当と考えます。これは、課題の抽出と分析、解決策の提案が概ね適切であるものの、具体性や実行可能性に欠ける部分があり、さらに詳細な説明が求められるためです。


Vで具体性や実現可能性に欠けるという厳しい評価でした(笑)
また、課題の抽出で解決策が書かれていないので減点、とされてしまいました。


引用返信/返信 削除キー
[7135] 

Re: Re: Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:4回目  2024/08/01(木) 13:22:26 
No7134に返信(4回目さんの記事)

> Vで具体性や実現可能性に欠けるという厳しい評価でした(笑)
> また、課題の抽出で解決策が書かれていないので減点、とされてしまいました。
>
>

インプット条件にて「課題の抽出」にて解決策を提示する必要はない、と指示したところ
55→78点となりました。
そしてなぜか具体性と実行可能性の評価がべた褒めになりましたw

まあやはり参考程度ですので、論文作成時の息抜きで遊んでみるのが良さそうですね。

課題の抽出と分析 (30点)

課題抽出の多面的なアプローチは適切で、技術面、コスト面、人材面からの考察がなされています。
課題設定は明確で、背景の理解も深いです。
解決策の提案 (40点)

提案された解決策は具体的で、専門的用語を使いこなしており、実行可能性も考慮されています。
提案内容は多角的で、現実的な対策が示されています。
将来的な懸念事項と対策 (20点)

将来の懸念事項についても、現実的な予測と対策が提示されており、内容は適切です。
全体的に、論文は高い水準で、技術的知識と問題解決能力を十分に示しています。評価基準に従って点数をつけると、以下のようになります:

課題の抽出と分析: 28/30点
解決策の提案: 35/40点
将来的な懸念事項と対策: 15/20点
合計:78/100点


引用返信/返信 削除キー
[7136] 

Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:R  2024/08/01(木) 15:31:05 
GPTのバージョンでも差が出るようです。
GPT4.0で85点、GPT4.0oで63点、GPT4.0miniで95点。
いちゃもんをつけると60点以下、CHATのスレッドを変えるとさらに変化します。
所詮生成AIによる採点ですから、「こんなんでました」レベルかと。
しかし、人間がする採点も主観によって変わりますから、似たようなものかもしれませんね。pytyonをつかってニューラルネット形成し、合格者の回答例をDeepLearningさせれば採点ロボットをつくれるかも。

引用返信/返信 削除キー
[7137] 

Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:だるま  2024/08/01(木) 16:16:18 
技術士の論文は減点方式なので、
具体的な評価項目と減点数がわかれば
CHATGPTによる評価精度を高めることができるのですが。

どなたか有力な情報をおもちじゃないですかね。

引用返信/返信 削除キー
[7175] 

Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:まさにい  2024/08/19(月) 18:20:37 
復元論文に関して「問題文」「採点基準(※)」とセットで
Chatgpt、Copilot、Geminiの3つで採点させたところ
いずれも90点以上としてくれました。
※採点基準:設問に求められるコンピテンシー


Chatgpt、Copilot、Geminiいずれも、構文解析による厳格な評価がされている印象です。
論文の改善箇所なども指摘してくれるので、減点されるかもしれない要素も想定できます。
必須問題はAが絶対。午後は、UとVを足し合わせてAになればよいので、
ここが減点される可能性はあるがこっちで点数を補完できそうみたいな推測もある程度できるかもしれません

尚、プロンプトには、「この論文は1800文字にて作成することが前提とされた論文です。」
などといれると、これを考慮した採点が行われます。

引用返信/返信 削除キー
[7176] 

Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:鋼コン  2024/08/20(火) 12:28:16 
AI採点結果と実際の採点結果を比較すると面白そうですね
論文に対する実際の採点結果をインプットするとかなり良い採点になるかと思うので
今年駄目なら来年試してみます(笑)

引用返信/返信 削除キー
[7178] 

Re: Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:ひろちゃん  2024/08/20(火) 15:23:52 
「くまぞうさん」や「まさにいさん」を参考に、以下の内容で採点したところ、
T−1:A判定(高評価)
V−2:A判定(高評価)
となりました。

------------------------------------------------------------------------------------
「日本技術士会が定める「専門的学識」、「問題解決」、「評価」、「技術者倫理」、
「コミュニケーション」の定義の文字列」

上記の「専門的学識」、「問題解決」、「評価」、「技術者倫理」、「コミュニケーション」の観点を念頭に
以下の「問題文」に対し、「論文」を作成しましたので「論文」を採点してください。
採点においては、A・B・Cのランク付けをしてください。
Aは60点以上、Bは40点〜60点未満、Cは40点未満とします。
※採点基準:設問に求められるコンピテンシー
------------------------------------------------------------------------------------

しかし、採点基準を以下のように追記したところ、
T−1:A判定(高評価)
V−2:B判定
となりました。
------------------------------------------------------------------------------------
※採点基準:設問に求められるコンピテンシーおよび問題文の題意にそった内容かどうか
------------------------------------------------------------------------------------

微妙な判定が出てしまい、やや落ち込み気味ではありますが、実際の採点が出てから照らし合わせてみたいと思います。

引用返信/返信 削除キー
[7179] 

Re: Re: Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:まさにい  2024/08/20(火) 16:21:10 
chatgpt、copilot、geminiは、投げる度に評価が微妙に変動します。
1回目は90点以上、2回目は85〜90点みたいな。
生成AIによる評価アルゴリズムは、世界的のユーザの、実に膨大なプロンプトに
基づき組成されているので変動して当然だと思います。かつ、採点も甘い気がします。

生成AIは、構文解析能力が極めて高いため、逆に、専門性の高い文言、表現なども
容易に解釈してしまいますし、例えば理由が欠落した主張も、その文脈を読み取ってしまいます。
多少わかりにくい文章や表現も見事に解釈してしまいます。

一方、実際の添削をされる方は、生成AIのような機械的な、かつ高度なチェックではなく
「技術士」の論文として、一語一句きっちりチェックすると思います。
(明らかにCランクは概観で判断されてしまうと思いますが)
専門用語の使い方、文脈、主張理由の有無、一般論ではなく記述者の考えが示されたものかどうかなど。

なので、他の方も書いておられたと思うのですが、実際の採点結果の目安は
chatgpt、copilot、geminiの評価結果のさらに8割くらいでみておけばよいのかなと思います。
目安として。

引用返信/返信 削除キー
[7180] 

Re: Re: Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:鋼CON  2024/08/20(火) 16:39:39 
B・C判定の設問と復元論文を入れて判定通りの結果ならば日々の論文添削に非常に役立ちますよね。
家に帰ったらテキストの予想問題と回答例入れてみようかなぁ

引用返信/返信 削除キー
[7181] 

Re: Re: Re: Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:鋼コン  2024/08/20(火) 19:21:29 
勉強開始したばかりの頃に作成した、必死に3枚埋めただけの必須論文を放り込んでも80点とか出るので、7割くらいのほうが良いかもしれませんね
私は通信講座の復元論文添削を利用しているので、採点結果が来たら点数の比較を報告します。

引用返信/返信 削除キー
[7182] 

Re: Re: Re: Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:R6受験生  2024/08/21(水) 09:32:05 
「日本技術士会が定める「専門的学識」、「問題解決」、「評価」、「技術者倫理」、
「コミュニケーション」のコンピテンシーについて、問題毎にそれぞれ配点は決まっているのでしょうか。
Chat gptで評価するにも各項目の配点が毎回変わってしまいます。


引用返信/返信 削除キー
[7225] 

Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:夏の終わり  2024/08/27(火) 13:41:08 
CHATGPT、Copilot、Gemini、Perplexityの4つの生成AIに対し、
以下のプロンプトにて再現論文を添削・評価させてみると
包括的かつ具体的な評価を得ることができますよ。
ちなみに以下は必須問題の場合を想定した採点基準の配点です。合計で40点になるようにしています。
減点方式ならここから減点されていくでしょう。



〜〜〜〜〜↓ 以下プロンプトの内容〜〜〜〜〜

「問題文」
ーーーーーーーーーーーーーーーーーーーーーーー
○○○○○○。。。
ーーーーーーーーーーーーーーーーーーーーーーー


「設問」
ーーーーーーーーーーーーーーーーーーーーーーーー
設問(1):○○○○○○。。。
設問(2):○○○○○○。。。
設問(3):○○○○○○。。。
設問(4):○○○○○○。。。
ーーーーーーーーーーーーーーーーーーーーーーーー


「論文」
ーーーーーーーーーーーーーーーーーーーーーーーー
○○○○○○。。。
--------------------------------------------


「採点基準」
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
■専門的学識
@専門的学識:5点満点
 技術部門全般にわたる専門知識及び我が国固有の法令等の制度及び社会・自然条件等に関する専門知識を理解し応用しているか

■問題解決
A問題解決:5点満点
  複合的な問題に対してこれらの内容を明確にし調査しこれらの背景に潜在する問題発生要因や制約要因を抽出し分析しているか。
B複合的な要求事項の考慮:5点満点
  複合的な問題に関して相反する要求事項(必要性、機能性、技術的実現性、安全性、経済性等)それらによって及ぼされる影響の重要度を考慮しているか
C合理的な解決策の提示:5点満点
  複数の選択肢を提起しこれらを踏まえた解決策を合理的に提案しているか。

■評価
D評価と波及効果:5点満点
  業務遂行上の各段階における結果、最終的に得られる成果やその波及効果を評価し、次段階や別の業務の改善に資する内容か

■コミュニケーション
Eコミュニケーション:5点満点
  業務履行上、口頭や文書等の方法を通じて、明確かつ効果的な意思疎通を行うことができる内容か。

■技術者倫理
F技術者倫理:5点満点
  公衆の安全、健康及び福利を最優先に考慮した内容か
G持続可能性:5点満点
  社会、文化及び環境に対する影響を予見し、地球環境の保全等、次世代に渡る社会の持続性の確保に資する内容か
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー



ここからあなたに確認したいことがあります。
以下の質問@ABCDの5つの質問に答えてください。

質問@:上記の「問題文」の題意(題意@)を具体的に列挙してください。
質問A:上記の「設問」の題意(題意A)を具体的に列挙してください。
質問B:上記の「問題文」に対して作成した「論文」について、題意@に沿った内容でかつ、論理的な内容になっているかどうかを評価して下さい
質問C:上記の「問題文」に対して作成した「論文」について、題意Aに沿った内容でかつ、論理的な内容になっているかどうかを評価して下さい
質問D:上記の「論文」を採点基準に従って評価・採点して下さい
      評価においては、論文内の記述箇所を例示して詳細に具体的に評価してください
質問E:「論文」は一般的な論文とは違い、自分の考えを書くことが重要視されますので、その観点での評価もお願いします。

尚、この論文は1800文字にて作成することが前提とされた論文です。

引用返信/返信 削除キー
[7226] 

Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:ジョニーサンダース  2024/08/27(火) 14:31:39 
No7225に返信(夏の終わりさんの記事)
> CHATGPT、Copilot、Gemini、Perplexityの4つの生成AIに対し、
> 以下のプロンプトにて再現論文を添削・評価させてみると
> 包括的かつ具体的な評価を得ることができますよ。
> ちなみに以下は必須問題の場合を想定した採点基準の配点です。合計で40点になるようにしています。
> 減点方式ならここから減点されていくでしょう。
>
>
>
> 〜〜〜〜〜↓ 以下プロンプトの内容〜〜〜〜〜
>
> 「問題文」
> ーーーーーーーーーーーーーーーーーーーーーーー
> ○○○○○○。。。
> ーーーーーーーーーーーーーーーーーーーーーーー
>
>
> 「設問」
> ーーーーーーーーーーーーーーーーーーーーーーーー
> 設問(1):○○○○○○。。。
> 設問(2):○○○○○○。。。
> 設問(3):○○○○○○。。。
> 設問(4):○○○○○○。。。
> ーーーーーーーーーーーーーーーーーーーーーーーー
>
>
> 「論文」
> ーーーーーーーーーーーーーーーーーーーーーーーー
> ○○○○○○。。。
> --------------------------------------------
>
>
> 「採点基準」
> ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
> ■専門的学識
> @専門的学識:5点満点
>  技術部門全般にわたる専門知識及び我が国固有の法令等の制度及び社会・自然条件等に関する専門知識を理解し応用しているか
>
> ■問題解決
> A問題解決:5点満点
>   複合的な問題に対してこれらの内容を明確にし調査しこれらの背景に潜在する問題発生要因や制約要因を抽出し分析しているか。
> B複合的な要求事項の考慮:5点満点
>   複合的な問題に関して相反する要求事項(必要性、機能性、技術的実現性、安全性、経済性等)それらによって及ぼされる影響の重要度を考慮しているか
> C合理的な解決策の提示:5点満点
>   複数の選択肢を提起しこれらを踏まえた解決策を合理的に提案しているか。
>
> ■評価
> D評価と波及効果:5点満点
>   業務遂行上の各段階における結果、最終的に得られる成果やその波及効果を評価し、次段階や別の業務の改善に資する内容か
>
> ■コミュニケーション
> Eコミュニケーション:5点満点
>   業務履行上、口頭や文書等の方法を通じて、明確かつ効果的な意思疎通を行うことができる内容か。
>
> ■技術者倫理
> F技術者倫理:5点満点
>   公衆の安全、健康及び福利を最優先に考慮した内容か
> G持続可能性:5点満点
>   社会、文化及び環境に対する影響を予見し、地球環境の保全等、次世代に渡る社会の持続性の確保に資する内容か
> ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
>
>
>
> ここからあなたに確認したいことがあります。
> 以下の質問@ABCDの5つの質問に答えてください。
>
> 質問@:上記の「問題文」の題意(題意@)を具体的に列挙してください。
> 質問A:上記の「設問」の題意(題意A)を具体的に列挙してください。
> 質問B:上記の「問題文」に対して作成した「論文」について、題意@に沿った内容でかつ、論理的な内容になっているかどうかを評価して下さい
> 質問C:上記の「問題文」に対して作成した「論文」について、題意Aに沿った内容でかつ、論理的な内容になっているかどうかを評価して下さい
> 質問D:上記の「論文」を採点基準に従って評価・採点して下さい
>       評価においては、論文内の記述箇所を例示して詳細に具体的に評価してください
> 質問E:「論文」は一般的な論文とは違い、自分の考えを書くことが重要視されますので、その観点での評価もお願いします。
>
> 尚、この論文は1800文字にて作成することが前提とされた論文です。

早速ためしてみたら、3回判定して3回とも36/40点になり、嬉しくて書き込みしてしまいました。

合格発表が楽しみです。


引用返信/返信 削除キー
[7228] 

Re: Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:夏の終わり  2024/08/27(火) 15:05:04 
ジョニーサンダースさん

それはよかったですね。
生身の採点者による評価は、もう少し技術士寄りのチェックが入ると思いますが
CHATGPT、Copilot、Gemini、Perplexity による採点はいずれも
題意及びコンピテンシーの定義に対する忠実な機械的構文解析の評価結果なので
近からずとも遠からずだと思います。
合格発表をまちましょう。

引用返信/返信 削除キー
[7229] 

Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:匿名希望  2024/08/27(火) 15:12:37 
お疲れ様です。使わせていただきました。

昨年度61点だった論文で試してみたら、35点/40点となりました。
ちょっと甘め?かもしれませんね。

ありがとうございました。

引用返信/返信 削除キー
[7230] 

Re: Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:匿名希望  2024/08/27(火) 15:33:17 
くまぞうさんの方法を試させていただきました。

昨年度61点だったものはA判定、
今年度受けたものはB判定 と出ましたが果たして。。。

ありがとうございました。

引用返信/返信 削除キー
[7231] 

Re: Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:とうもろこし  2024/08/27(火) 15:42:49 
匿名希望さん 貴重な情報提供ありがとうございます。

61点だった論文で、35点/40点ということは、
この生成AIでの評価結果を目安とした場合
実際の評価は概ねこれの70%ということになりますね。

つまり、必須問題の場合、この生成AIでの評価結果で
・35点以上なら合格圏内。
・35点未満なら不合格圏内

という目安。

引用返信/返信 削除キー
[7232] 

Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:鋼コン  2024/08/27(火) 15:44:42 
chatgptで試させていただきました。38/40点でした。
ベタ褒めですが褒められて悪い気はしませんね(笑)
これを基礎点としてなんとか0.65かけくらいの評価が欲しいところです。


ちなみに他のスレッドで白熱している建設T-2の題意についての回答です。
chatgpt君は事前防災を含んでもいいよとを判断しました。

質問@:上記の「問題文」の題意(題意@)
大規模災害の頻発とその懸念:

1.令和6年能登半島地震や南海トラフ地震、首都直下型地震、気候変動による風水害など、大規模災害が頻発し、その影響が大きくなる可能性が高まっている。
復旧・復興対応の制約:

2.災害後の復旧・復興に投入できる人員や予算が限られており、これが迅速かつ効率的な対応の障害となっている。
DX(デジタルトランスフォーメーション)の期待:

3.災害対応におけるDXの活用が期待されており、既に様々な取り組みが実施されている。DXを活用することで、事前の防災・減災対策、災害発生後の迅速な復旧・復興を効率的に進めることが重要である。
迅速かつ効率的な復旧・復興の必要性:

4.大規模災害の発生後、DXを活用し、国民の日常生活が早く回復するように復旧・復興を迅速かつ効率的に進めることが不可欠である。


質問A:上記の「設問」の題意(題意A)
設問(1)の題意:
DX活用における課題の抽出: 大規模災害の発生後、限られた人員や予算を前提に、DXを活用してインフラや建築物の復旧・復興を迅速かつ効率的に進めるための課題を技術者として多面的な観点から3つ抽出すること。
観点の明記: 課題を挙げる前に、その課題を抽出する際の観点を明確に示すこと。

設問(2)の題意:
最も重要な課題の選定: 設問(1)で抽出した課題のうち、最も重要だと考える課題を1つ選び、それに対する複数の解決策を示すこと。

設問(3)の題意:
新たなリスクの特定と対策: 設問(2)で提示した解決策を実行した際に生じる可能性のある新たなリスクを特定し、それに対する具体的な対策を専門技術に基づいて述べること。
設問(4)の題意:
技術者倫理と持続可能性の要件: 設問(1)から(3)までの業務を遂行する際、技術者倫理や社会の持続可能性の観点から必要となる要件や留意点を明確に述べること。

引用返信/返信 削除キー
[7233] 

Re: Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:夏の終わり  2024/08/27(火) 16:11:28 
鋼コンさん 

chatgpt以外に、GeminiやPerplexxtiyも試して頂くと
chatgptとは、また別の角度からの考え方が示されますので参考になりますよ。

私は建設部門ではございませんが、「事前防災」を論じる上で、問題文に直接的に
「事前防災」に触れるべきであることが明記されていない場合には、

コンピテンシーの「問題解決」の定義をみると、
「これらの背景に潜在する問題発生要因や制約要因を抽出し分析すること」
とありますので、
事前防災は有効だと思いつつ、それを論述する上での文脈づくり、
つまりその論拠を前置いた上で、事前防災のくだりをいれる文脈とされているほうが
望ましいと思います。
それが「コンピテンシ」の「専門的学識」で問われる「専門知識を理解し応用すること」
だと思いました。

建設部門ではないのに、生意気を申し上げてすいません。

引用返信/返信 削除キー
[7236] 

Re: Re: Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:鋼コン  2024/08/27(火) 23:25:02 
夏の終わりさん

ありがとうございます。
複数の生成AIで試してみます。
そうですね、ロジックの組み立て方次第なんですね…

引用返信/返信 削除キー
[7237] 

Re: Re: Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:匿名希望  2024/08/28(水) 10:23:58 
くまぞうさんのやり方だと、61点の論文はA評価でした。

ちなみに今年度の再現論文は、夏の終わりさんの方法で32-35/40点、くまぞうさんの方法ではB評価(けっこう酷評)でした。

いろいろな方法を試してみるのがいいのかもしれませんね。
口答試験の準備をするにしても、こういう指標で「可能性あるかも!?」と思えたほうが身が入る気がします。

引用返信/返信 削除キー
[7258] 

Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:減点方式プロンプト  2024/08/29(木) 18:43:28 
CHATGPTなどでは、B判定の論文でも高得点評価となってしまいます。
そこで、以下の、プロンプトのように、質問内容を工夫し、かつ減点方式にしてみました。「夏の終わり」さんのプロンプトをアレンジしてみました。
そうしたところ、B判定論文について、概ね60点前後相当の評価がかえってくるようになりました。
これは必須問題の場合のプロンプト例です。
B判定論文を投げ込むと、40点中24点前後の評価がかえってきます。
CHATGPT、Gemini、Claude、Llamaいずれも概ね同じような評価がかえってきます。
お時間のある方はためしてみてください。
ちなみに、質問Fは、字の汚さや、採点者の恣意的な採点があろうと考え、これの減点バッファを考慮し
意図的に無条件で-5点をつけるようにしています。

以下プロンプトです。

「問題文」
ーーーーーーーーーーーーーーーーーーーーーーー
○○○○○○。。。
ーーーーーーーーーーーーーーーーーーーーーーー


「設問」
ーーーーーーーーーーーーーーーーーーーーーーーー
設問(1):○○○○○○。。。
設問(2):○○○○○○。。。
設問(3):○○○○○○。。。
設問(4):○○○○○○。。。
ーーーーーーーーーーーーーーーーーーーーーーーー

「論文」
ーーーーーーーーーーーーーーーーーーーーーーーー
○○○○○○。。。
--------------------------------------------


「採点基準」
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
@専門的学識:
 技術部門全般にわたる専門知識及び我が国固有の法令等の制度及び社会・自然条件等に関する専門知識を理解し応用しているか
A問題解決
  複合的な問題に対してこれらの内容を明確にし調査しこれらの背景に潜在する問題発生要因や制約要因を抽出し分析しているか。
B複合的な要求事項の考慮:
  複合的な問題に関して相反する要求事項(必要性、機能性、技術的実現性、安全性、経済性等)それらによって及ぼされる影響の重要度を考慮しているか
C合理的な解決策の提示:
  複数の選択肢を提起しこれらを踏まえた解決策を合理的に提案しているか。
D評価と波及効果:
  業務遂行上の各段階における結果、最終的に得られる成果やその波及効果を評価し、次段階や別の業務の改善に資する内容か
Eコミュニケーション:
  業務履行上、口頭や文書等の方法を通じて、明確かつ効果的な意思疎通を行うことができる内容か。
F技術者倫理
  公衆の安全、健康及び福利を最優先に考慮した内容か
G持続可能性:
  社会、文化及び環境に対する影響を予見し、地球環境の保全等、次世代に渡る社会の持続性の確保に資する内容か
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー


ここからあなたに論文の採点をお願いします。採点は40点満点とします。

質問@:「問題文」の要求事項に対し、論文に記載されていない事項があれば抽出してください。1事項につき1点減点として下さい。
質問A:「問題文」の要求事項に対し、論文の記載内容が妥当ではない箇所を抽出してください。1箇所につき1点減点として下さい。

質問B:「設問」の要求事項に対し、論文に記載されていない事項があれば抽出してください。1事項につき1点減点として下さい。
       例えば設問では「観点を明記したうえでその課題の内容を示せ。」と要求しているため、観点を明記されていない課題がある場合は、1つの課題につき1点減点してください
      例えば、「要件・留意点を題意に即して述べよ。」と要求しているのに、明記されていない場合は、1つの事項につき1点減点してください
質問C:「設問」の要求事項に対し、論文の記載内容が妥当ではない箇所を抽出してください。1箇所につき1点減点として下さい。
質問D:採点基準の項目に対し、論文の不適切な記述箇所を抽出してください。1箇所につき1点減点として下さい。
質問E:非論理的な記述箇所があれば1点減点してください(例えば、「〇〇のために」といった記述の目的や理由がぬけているなど)        
質問F:無条件に5点減点してください

最終的に、質問@〜Fの採点結果を踏まえ、40点満点中、何点になったかを教えてください

尚、この論文は1800文字にて作成することが前提とされた論文です。
また3つの課題に対して「最も重要と考える課題」は1つのみとすることを前提とされた論文です。

引用返信/返信 削除キー
[7261] 

Re: Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:匿名希望  2024/08/30(金) 13:58:39 
みなさんいろいろ試行錯誤されていてすごいですね。お疲れ様です。

昨年度61点のもので試してみたら33点でした。(5点減点不要の38点と判定されたので、手動で減点しました)
今年受けたものは30点でした。(こちらも出力結果は減点不要の35点でした)

引用返信/返信 削除キー
[7262] 

Re: Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:鋼コン  2024/08/30(金) 14:09:36 
減点方式プロンプトさんの方法ですと相当に酷評でしたした(笑)
1回目は23/40,2回目は15点/40でした。


chatgptだと4oが採点がより厳しくなる印象ですね
すぐに回数制限されちゃうんで課金しようかなぁ

引用返信/返信 削除キー
[7263] 

Re: Re: Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:まさにい  2024/08/30(金) 14:51:13 
ここのサービスはフリーです。
https://oshiete.ai/

その日のプロンプト数は限られますが
それでも相当な文字数を何度も試せます。

CHATGPT、Gemini、Claude、Llama
いろいろ、同時に試せますよ。

引用返信/返信 削除キー
[7264] 

Re: Re: Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:匿名希望  2024/08/30(金) 15:48:39 
減点不要とされたのはgeminiでした。
chatGPTだとちゃんと減点してくれました。-1〜2点の誤差でした。

引用返信/返信 削除キー
[7328] 

Re: Re: Re: Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:珈琲で一息  2024/09/28(土) 22:29:18 
ここのサイトの天秤AIでは、複数の生成AIを使えます。
この中で、最近、「OpenAI o1 preview」ってのが使えるのですが
文章解析能力が、他のGPT-4o、Gemini1.5Pro、Claude3.5sonnetなどの高精度なものより、さらに高精度で、かなり緻密な解析をしてくれますよ。

合格発表まであと約1か月。皆さんもぜひ出来具合を評価してみてはいかがでしょう。


https://oshiete.ai/

引用返信/返信 削除キー
[7388] 

Re: Re: Re: 復元論文についてchatgptの評価どおりにA判定になった方おられますか

Name:鋼コン  2024/10/11(金) 11:14:55 
くまぞうさんの方法で1日1回、計5日間採点してもらいました。
採点基準について、専門の場合は「上記の〜観点を念頭に」の部分を各設問毎の採点基準を入力し末尾に「この論文は〇文字の文字数制限があります。」の一文を追加。
※chatgptは全てGPT-4oを用いています。

1回目T65 U-1 88 U-2 76 V52 平均70(採点基準、問題文、論文を別々に投稿)
2回目T63 U-1 68 U-2 65 V78 平均68(採点基準、問題文、論文を別々に投稿)
3回目T77 U-1 85 U-2 75 V80 平均79(採点基準、問題文、論文を別々に投稿)
4回目T62 U-1 62 U-2 75 V55 平均64(採点基準〜論文を一括で投稿)
5回目T55 U-1 64 U-2 75 V80 平均69(採点基準〜論文を一括で投稿)
平均 T64 U-1 73 U-2 73 V69 平均70
参考 T56 U-1 70 U-2 50 V55 平均58 某老舗通信講座による添削・採点

サンプル数が少ないですが、採点がバラつく要因としては曜日ごとのご機嫌と(笑)、各観点毎の配点が不明で吐き出すたびに配点が異なることが大きいと思います。
Vのバラつきが大きいのは、対策不足で思いついたキーワードを脈絡なく書き殴った文章だからかもしれません。

本採点は各設問毎に行われているようなので、採点を設問毎に割り振ったら安定するかもしれませんね。必須なら課題解決能力が重視されるので(1)35,(2)35,(3)15,(4)15などでしょうか(40点満点換算なら(1)15,(2)15,(3)5,(4)5が妥当でしょうか)。


引用返信/返信 削除キー
[7389] 

(削除)

Name:  2024/10/11(金) 14:39:42 
この記事は(投稿者)削除されました

引用返信/返信 削除キー



<< 0 >>

このスレッドに書きこむ


題 名
本 文
名 前
E-Mail
削除キー(半角8文字以内)
文字色
ファイル

≪アップロード可能なファイル種類≫
\n/.gif/.jpg/.jpeg/.png/.txt/.lzh/.zip/.mid/.pdf

≪アップロード可能なファイル容量≫
6000KB(1KB=1024Bytes)以内 6) スレッド内の合計ファイルサイズ:[0/6000KB] 残り:[6000KB]
 
プレビュー 

[ HOME掲示板TOPツリー表示一覧表示トピック表示新規投稿記事検索過去ログ携帯用URL ]
 
<RSS>  【管理者へ連絡】