掲示板for技術士受験応援ページ
[
HOME
｜
掲示板TOP
｜
ツリー表示
｜
一覧表示
｜
トピック表示
｜
新規投稿
｜
記事検索
｜
過去ログ
｜
携帯用URL
]
[8698]
Re: Re: Re: Re: ★★★本トピの要諦：最新の生成AIによる再現論文の評価について
Name：やん
2025/08/10(日) 14:44:01
たこ焼きさま。わかりづらくて申し訳ありません。
一応、表の見方は各「生成AIの評価（ランク）」と
実際の「試験官の評価（ランク）」とのギャップを「ランク差」とした結果を
表現したつもりでした。
（例）ChatGPT→B1 試験官→A2 B1とA2を比較し、ランクが１つ下なので
「-1.0」と表現
プロンプトを編集して得点で再評価させました。（必須Tのプロンプト例を下記に示してあります）
結論から申し上げると「バラバラ」でした。必須Tの場合は、前回と同様
ChatGPTやPerplexityの精度が良かったのですが、
選択Vとなると、GrokやGensparkの結果が精度良く「この生成AIが精度がいい」
といった結果はつかめませんでした。
「平均したら、精度がいい」という傾向もありませんでした。
※問題は同じR6年度 必須T−２と選択Vー２です。
受験部門、科目は「建設部門−道路」です。
やりながら心配だったのが『技術士に求められる資質能力(コンピテンシー)』は
口頭試験に関する評価事項も含めるため、
論文評価のプロンプトに、コンピテンシーをそのままコピペすると、若干誤差が出る
要因になるのではないかと思いました。
しかし、評価結果を見ると、実際の評価基準にはない「読みやすさ」「論理的な構成」
も考慮に入れている様子だったので、問題なかったです。
ただ、肌感覚としては生成AIも便利ですが、やはり利便性と品質はトレードオフで、
「生成AIに一存するリスクもある」という印象、人の目で見てもらうことも依然として大事だ、という感想でした。
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
「2024年の論文」は、「日本技術士会の採点基準」に基づき、60点以上となる合格となった論文です。
最下段に示す採点基準を元に採点してください。
尚、「論文」は1800文字以内で作成するルールであるため、1800文字以内に収まるように論文を作成することを優先し、
必要な全ての事項を網羅的・具体的に記述していないことに注意してください。
「2024年の日本技術士会の問題文」
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
「2024年の論文」
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
「採点基準」40点満点
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
@「専門的学識」 ８点 全体で評価
技術士が専門とする技術分野（技術部門）の業務に必要な、技術部門全般にわたる専門知識及び選択科目に関する専門知識を理解し応用すること。
技術士の業務に必要な、我が国固有の法令等の制度及び社会・自然条件等に関する専門知識を理解し応用すること。
A「問題解決」 ８点 （１）（２）で評価
業務遂行上直面する複合的な問題に対して,これらの内容を明確にし,調査し,これらの背景に潜在する問題発生要因や制約要因を抽出し分析すること。
複合的な問題に関して,相反する要求[、1.'il項(必要性,機能性,技術的実現性,安全性,経済性等),それらによって及ぼされる影響の重要度を考慮したうえで,複数の選択肢を提起し,これらを踏まえた解決策を合理的に提案し,又は改善すること。
８点中４点・・・課題抽出（１）に対する解答で評価
８点中４点・・・方策提起（２）に対する解答で評価
B「評価」 ８点 （３）の解答で評価
業務遂行上の各段階における結果,最終的に得られる成果やその波及効果を評価し,次段階や別の業務の改善に資すること。
C「技術者倫理」 ８点（４）の解答で評価
・業務遂行にあたり,公衆の安全,健康及び福利を最優先に考慮したうえで,社会,文化及び環境に対する影響を予見し,地球環境の保全等,次肚代にわたる社会の持続性の確保に努め,技術士としての使命,社会的地位及び職責を自覚し,倫理的に行動すること、
・業務履行上,関係法令等の制度が求めている事項を遵守すること.
・業務履行上行う決定に際して,自らの業務及び責任の範囲を明確にし,これらの責任を負うこと。
D「コミュニケーション」 ８点 全体で評価
業務履行上、口頭や文書等の方法を通じて、雇用者、上司や同僚、クライアントやユーザー等多様な関係者との間で、明確かつ効果的な意思疎通を行うこと。
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
1119×1051 => 400×375
1754804641.jpg
/
203KB
記事引用
削除キー
編集
削除
→Re: Re: Re: Re: Re: ★★★本トピの要諦：最新の生成AIによる再現論文の評価について
/たこやき
上記ツリーを一括表示
/
上記ツリーをトピック表示
題 名
本 文
名 前
E-Mail
削除キー
(半角8文字以内)
文字色
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
ファイル
≪アップロード可能なファイル種類≫
\n/
.gif
/
.jpg
/
.jpeg
/.png/.txt/.lzh/.zip/.mid/.pdf
≪アップロード可能なファイル容量≫
6000KB
(1KB=1024Bytes)以内 6) スレッド内の合計ファイルサイズ:[1293/6000KB]
残り:[4707KB]
プレビュー
[
HOME
｜
掲示板TOP
｜
ツリー表示
｜
一覧表示
｜
トピック表示
｜
新規投稿
｜
記事検索
｜
過去ログ
｜
携帯用URL
]
-
Child Tree
-
上記ツリーを一括表示 / 上記ツリーをトピック表示
一応、表の見方は各「生成AIの評価（ランク）」と
実際の「試験官の評価（ランク）」とのギャップを「ランク差」とした結果を
表現したつもりでした。
（例）ChatGPT→B1 試験官→A2 B1とA2を比較し、ランクが１つ下なので
「-1.0」と表現
プロンプトを編集して得点で再評価させました。（必須Tのプロンプト例を下記に示してあります）
結論から申し上げると「バラバラ」でした。必須Tの場合は、前回と同様
ChatGPTやPerplexityの精度が良かったのですが、
選択Vとなると、GrokやGensparkの結果が精度良く「この生成AIが精度がいい」
といった結果はつかめませんでした。
「平均したら、精度がいい」という傾向もありませんでした。
※問題は同じR6年度 必須T−２と選択Vー２です。
受験部門、科目は「建設部門−道路」です。
やりながら心配だったのが『技術士に求められる資質能力(コンピテンシー)』は
口頭試験に関する評価事項も含めるため、
論文評価のプロンプトに、コンピテンシーをそのままコピペすると、若干誤差が出る
要因になるのではないかと思いました。
しかし、評価結果を見ると、実際の評価基準にはない「読みやすさ」「論理的な構成」
も考慮に入れている様子だったので、問題なかったです。
ただ、肌感覚としては生成AIも便利ですが、やはり利便性と品質はトレードオフで、
「生成AIに一存するリスクもある」という印象、人の目で見てもらうことも依然として大事だ、という感想でした。
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
「2024年の論文」は、「日本技術士会の採点基準」に基づき、60点以上となる合格となった論文です。
最下段に示す採点基準を元に採点してください。
尚、「論文」は1800文字以内で作成するルールであるため、1800文字以内に収まるように論文を作成することを優先し、
必要な全ての事項を網羅的・具体的に記述していないことに注意してください。
「2024年の日本技術士会の問題文」
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
「2024年の論文」
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
「採点基準」40点満点
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
@「専門的学識」 ８点 全体で評価
技術士が専門とする技術分野（技術部門）の業務に必要な、技術部門全般にわたる専門知識及び選択科目に関する専門知識を理解し応用すること。
技術士の業務に必要な、我が国固有の法令等の制度及び社会・自然条件等に関する専門知識を理解し応用すること。
A「問題解決」 ８点 （１）（２）で評価
業務遂行上直面する複合的な問題に対して,これらの内容を明確にし,調査し,これらの背景に潜在する問題発生要因や制約要因を抽出し分析すること。
複合的な問題に関して,相反する要求[、1.'il項(必要性,機能性,技術的実現性,安全性,経済性等),それらによって及ぼされる影響の重要度を考慮したうえで,複数の選択肢を提起し,これらを踏まえた解決策を合理的に提案し,又は改善すること。
８点中４点・・・課題抽出（１）に対する解答で評価
８点中４点・・・方策提起（２）に対する解答で評価
B「評価」 ８点 （３）の解答で評価
業務遂行上の各段階における結果,最終的に得られる成果やその波及効果を評価し,次段階や別の業務の改善に資すること。
C「技術者倫理」 ８点（４）の解答で評価
・業務遂行にあたり,公衆の安全,健康及び福利を最優先に考慮したうえで,社会,文化及び環境に対する影響を予見し,地球環境の保全等,次肚代にわたる社会の持続性の確保に努め,技術士としての使命,社会的地位及び職責を自覚し,倫理的に行動すること、
・業務履行上,関係法令等の制度が求めている事項を遵守すること.
・業務履行上行う決定に際して,自らの業務及び責任の範囲を明確にし,これらの責任を負うこと。
D「コミュニケーション」 ８点 全体で評価
業務履行上、口頭や文書等の方法を通じて、雇用者、上司や同僚、クライアントやユーザー等多様な関係者との間で、明確かつ効果的な意思疎通を行うこと。
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー